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序言 


在 数据 的 江湖 里 ， 既 有 波澜 壮阔 的 大 数据 (Big Data) ， 也 有 微波 
涟 洲 的 小 数据 (Small Data) ， 二 者 相辅相成 ， 才 能 相映 生 辉 。 目 前 大 
数据 流行 ， 人 们 就 言 必 称 大 数据 ， 这 不 是 做 学 问 的 态度 ， 不 要 碰 到 大 量 
的 数据 ， 就 给 它 戴 上 一 项 “大 数据 ”的 帽子 。 大 数据 体现 出 规律 ， 小 数 
据 列 含 着 智慧 ， 它 们 都 闪烁 着 理想 之 光 。 


古人 云 : “圣人 见 微 知 著 ， 睹 始 知 终 。” 道 家 的 一 部 重要 著作 《 淮 
南 子 。 说 山 训 》 中 说 : “以 小 明 大 ， 见 一 叶 落 而 知 岁 之 将 莫 ， 睹 瓶 中 之 
水 而 知 天 下 之 寒 。” 意 思 是 说 ， 看 见 一 片 落叶 ， 就 知道 秋天 来 临 ; 看 到 
瓶 中 水 结 冰 ， 就 知道 天 气 的 寒冷 程度 ， 这 是 对 见 微 知 著 的 形象 比喻 。 


吴 甘 沙 先 生 用 《一 代 宗 师 》 的 台词 来 比拟 大 、 小 数据 的 区 分 ， 倒 也 
其 是 恰当 。 他 说 ， 小 数据 “ 见 微 ”， 作 个 人 刻画 ， 可 用 《一 代 宗 师 》 
中 “ 见 自己 ”形容 之 ; 而 大 数据 “ 知 著 ”， 反 映 自然 和 群体 的 特征 和 趋 
势 ， 可 用 《一 代 宗 师 》 中 的 “ 见 天 地 、 见 众生 ”比喻 之 。 


大 就 是 大 数据 ， 就 是 全 量 数据 ; 小 就 是 小 数据 ， 就 是 个 体 数 据 。 所 
以 ， 0 我 们 必须 在 把 情况 搞 清 楚 的 基础 上 懂得 哪些 是 大 、 
哪些 是 小 ， 知 道 怎样 处 理 大 小 辨证 关系 ， 才 能 在 具体 数据 应 用 中 做 到 抓 
ns 以 小 带 大 、 小 中 见 大 。 在 研究 小 数据 时 ， 要 以 大 兼 
小 、 以 小 见 大 ， 必 须 考虑 目 标的 正确 性 、 可 操作 性 和 决策 的 科学 性 、 可 
行 性 。 在 研究 大 数据 时 ， 要 抓 大 放 小 、 以 小 带 大 ， 既 要 考虑 整 体 共性 
ee 这 样 ， 在 数据 应 用 中 ， 大 能 与 小 数据 量化 的 自我 保 
持 高 度 一 致 ， 小 能 与 大 数据 预见 的 未 来 保持 一 致 ， ep 
人 Was 到 数据 中 去 ， 既 要 


大 ， 也 要 见 小 ， 以 小 带 大 、 小 中 见 大 ， 才 能 真正 用 好 数据 。 

当 认 知 科学 领域 发 生 “天 翻 地 履 ” 的 变化 时 ， 我 们 的 未 来 又 会 是 怎 
样 ? 认 知 革命 ， 特 别 是 “真相 时 代 ” 的 到 来 ，“ 预 测 ” 将 被 “预见 ” 取 
代 ， 那 么 ，“ 预 见 未 来 ”将 不 再 是 路 远 的 星 展 。 如 果 认 知 科学 的 本 质 是 
计算 科学 ， 那 么 ，“ 大 数据 ”和 “小 数据 ”争夺 所 谓 “ 大 小 ”的 “江湖 
地 位 ”意义 何在 ? 但 我 们 需要 觉 司 的 是 : 此 “数据 ” 非 彼 “数据 ”。 面 
向 未 来 ，“ 大 数据 ”和 “小 数据 ”将 开启 一 个 “全 新 故事 ”， 一 个 “ 预 
见 未 来 ”的 故事 。 


中 央 财 经 大 学 保险 学 院 院 长 李 晓 林 
2018 年 3 月 于 北京 


腹 吾 


“ 忽 如 一 夜 春 风 来 ， 千 树 万 树 梨花 开 。” 似 乎 在 一 夜 之 间 ， 大 数据 
就 红 遍 了 和 南北 半球 ， 在 神州 大 地 更 是 一 时 风头 无 二 。 与 此 同时 ， 大 数据 
也 被 神化 得 无 处 不 在 ， 无 所 不 包 ， 无 所 不 能 。 这 里 面 有 认识 上 的 原因 ， 
也 有 跟风 的 成 分 。 我 们 以 为 ， 越 是 在 热 得 发 溉 的 时 候 ， 越 是 需要 有 人 在 
雳 边 吹 吹 冷 风 。 在 这 里 谈 谈 小 数据 的 重要 性 、 预 测 态 、 未 来 式 ， 并 非 要 
否定 大 数据 的 价值 。 相 反 ， 只 有 我 们 充分 认识 了 小 数据 的 特点 和 应 用 ， 
才能 更 好 地 利用 大 数据 ， 才 能 通过 小 数据 和 大 数据 的 互补 ， 更 好 地 展现 
数据 之 美 、 数 据 之 道 、 数 据 之 魅 、 数 据 之 着。 


数据 本 无 大 小 ， 但 应 用 场合 、 处 理 方式 的 不 同 却 分 出 大 小 。 数 据 表 
示 的 是 过 去 ， 但 表达 的 是 未 来 ， 所 以 应 用 数据 不 仅 需 要 全 量 数据 ， 也 需 
要 样本 数据 ; 不 仅 要 了 解 相关 性 ， 更 要 明白 因果 关系 ; 不 仅 要 预见 未 
来 ， 更 要 量化 自我 。 这 就 迫使 我 们 从 更 广泛 的 角度 理解 小 数据 ， 梳 理 小 
数据 与 大 数据 的 分 野 ， 从 而 将 相关 思路 投射 、 印 证 于 小 数据 ， 考 察 其 核 
心 特 点 和 应 用 特质 。 除 传统 统计 学 以 外 ， 人 工 智 能 、 复 杂 系 统 等 技术 的 
发 展 ， 小 数据 也 能 学 习 ， 小 数据 也 能 复杂 化 ， 小 数据 远 比 我 们 想象 的 要 
强大 。 这 本 书 主要 通过 一 些小 案例 来 理解 小 数据 之 美 ， 如 中 医 的 “ 望 闻 
问 切 ”、 保 险 的 “大 数 法 则 ”、 军 事 的 “战略 与 战术 ”、 信 用 的 “能 力 
与 意愿 ”、 生 态 的 “小 环境 与 大 环境 ”、 企 业 的 “账面 与 实际 ”、 教 育 
的 “应 试 教育 与 素质 教育 ”等 ， 进 而 揭示 数据 的 局 面 变 化 、 逮 辑 更 新 、 
未 来 演进 。 

传统 思想 要 求 我 们 “知己知彼 ， 百 战 不 殉 ”“ 运 筹 疏 怪 ， 决 胜 千 
里 ”“ 抽 丝 刊 蔓 ， 明 察 秋 毫 ”， 互 联网 思维 要 求 我 们 “精简 ”“ 取 
会”“ 极 致 ”“ 专 注 ”， 偶尔 也 思考 “ 黑 天 切 ”“ 灰 翌 牛 ”， 但 大 多 数 


时 间 都 沉陷 于 “大 数据 ”和 “大 数据 时 代 ”。 我 们 迫切 需要 一 点 新 的 思 
路 、 新 的 视角 ， 我 们 需要 更 系统 、 更 强大 的 小 数据 ， 我 们 需要 更 全 面 地 
理解 小 数据 。 重 新 审视 我 们 的 时 代 。 小 数据 ， 尽 管 仍 乱 覃 在 迷雾 中 ， 但 
已 经 开始 在 我 们 脑海 中 浮现 出 其 整体 的 轮 廊 ， 这 就 是 我 们 选择 写 《 小 数 
据 之 美 》 的 初衷， 也 是 我 们 选择 写 《 小 数据 之 美 》 的 本 义 。 

本 书 由 陈 逻 编著 ， 中 央 财 经 大 学 硕士 研究 生 李 明 子 、 李 冰 ， 招 商 银 
行 易 斯 琪 ， 央 财 国际 研究 院 特 约 研 究 员 庞 博 参 与 了 本 书 主 要 章节 的 资料 
整理 ， 由 陈 逻 统一 修改 定稿 。 

本 书 在 编写 过 程 中 ， 参 考 了 国际 国内 的 相关 著作 、 论 文 、 报 告 和 案 
例 ， 中 央 财 经 大 学 中 国 精算 研究 院 的 多 位 专家 学 者 提出 了 许多 有 益 的 修 
改 意见 ， 在 此 一 并 表示 感谢 。 由 于 时 间 紧 人 迫 和 编者 水 平 有 限 ， 书 中 足 
疡 、 错 误 之 处 在 所 难免 ， 敦 请 读者 批评 指正 。 


中 央 财 经 大 学 中 国 精 算 研究 院 陈 辉 博士 
2018 年 3 月 于 北京 





一 、 小 数据 之 晓 变 





(一 ) 小 数据 的 成 长 之 路 


在 过 去 的 几 个 世纪 里 ， 以 抽样 数据 为 特征 的 小 数据 研究 使 自然 科 
学 、 社 会 科学 和 人 文科 学 的 发 展 取 得 了 路 越 式 的 进展 。 小 数据 的 成 长 过 
程 可 以 分 为 两 大 阶段 : 数据 的 产生 与 科学 数据 的 形成 。 在 此 基础 上 ， 大 
数据 悄然 诞生 。 

数据 起 源 于 古人 对 事物 的 “多 ”或 “ 少 ” 的 认识 。 从 中 国 上 古代 的 结 绳 记 
事 、 苏 美 尔 人 的 串珠 计数 ， 到 证 埃及 的 十 进 制 象形 文 数字 、 古 巴比伦 的 
六 十 进 制 数字 ， 再 到 中 国 商 朝 的 甲骨 文 数字 、 唐 代 的 汉字 数字 ， 最 终 到 
后 来 的 罗马 数字 、 阿 拉 们 数字 ， 逐 步 实 现 了 数 的 抽象 性 和 可 计算 性 。 而 
量 赋予 了 事物 的 测度 和 比较 标准 的 语言 ， 它 是 能 体现 事物 内 在 本 质 特征 
以 及 事物 之 间 差 异 程度 的 一 种 载体 ， 包 括 量 的 规模 、 关 系 、 变 化 、 界 限 
与 规律 。 从 数 到 数据 的 发 展 过 程 ， 客 观 反 映 了 人 类 认识 事物 本 质 属性 的 
必然 过 程 。 如 果 说 抽象 的 数 的 分 析 产 生 了 数学 ， 那 么 有 计量 单位 的 数据 
分 析 则 产生 了 统计 学 。 相 应 地 ， 统 计 学 中 所 使 用 的 就 是 传统 意义 上 的 小 
数据 。 


随 看 对 数据 需求 的 增加 ， 以 及 收集 与 运用 数据 经 验 的 不 断 积累 ， 人 
们 在 科学 研究 的 过 程 中 逐渐 形成 了 能 够 科学 使 用 的 小 数据 一 一 科学 数 
据 。 科 学 数据 是 人 们 用 以 探求 现象 变化 规律 或 验证 已 有 理论 假设 的 数 
据 ， 数 据 收集 的 方式 主要 是 观察 、 测 量 和 实验 。 科 学 数据 的 特点 是 科学 
设计 、 可 重复 获得 、 相 对 精确 和 具有 共享 性 ， 它 不 仅 提 高 了 人 类 认识 事 
物 的 精确 性 ， 而 且 逐 步 形成 的 数学 化 思维 与 方程 表达 式 使 人 类 解决 了 不 
同 物理 量 之 间 的 数值 天 系 表达 问题 ， 从 而 为 人 类 开展 相关 事物 之 间 的 定 











量 研究 提供 了 途径 。 目 然 哲学 家 开 普 勒 通 过 对 第 谷 天 文 观察 数据 的 使 
用 ， 推 导出 了 行星 运动 三 大 定律 :伽利略 通过 对 地 球 表面 物体 运动 数据 
的 训 量 ， 发 现 了 目 由 落体 运动 规律 ,牛顿 利 用 大 量 的 天 文 观 察 数 据 和 实 
验 测量 数据 ， 创 立 了 牛顿 力学 体系 。 

当然 ， 在 上 自然 科学 对 数据 进行 科学 研究 的 同时 ， 社 会 科学 也 同样 对 
数据 进行 了 科学 范式 的 研究 ， 并 发 现 了 如 平均 人 、 恩 格 尔 系数 、 基 尼 系 
数 、 经 济 周期 等 定律 。 














(二 ) 小 数据 2.0 的 诞生 


传统 意义 上 的 小 数据 因 其 数据 体 量 的 窗 小 、 抽 样 采 集 方式 的 传统 而 
得 名 ， 其 实质 是 通过 目前 主流 统计 工具 在 合理 时 间 内 采集 、 存 储 、 处 理 
的 数据 集 。 经 典 的 数理 统计 和 数据 挖掘 知识 ， 可 以 较 好 地 解决 这 类 问 
题 。 而 大 数据 时 代 下 的 小 数据 ， 是 一 类 新 兴 的 数据 ， 它 是 指 需 要 新 的 应 
用 方式 才能 体现 出 具有 高 价值 的 、 个 体 的 、 高 效率 的 、 个 性 化 的 信息 资 
有 











小 数据 2.0 下 的 定义 并 不 是 指数 据 量 小 ， 而 是 围绕 个 体 的 全 方位 数 

据 及 其 配套 的 收集 、 处 理 、 分 析 和 对 外 交互 的 综合 系统 。 个 体 产生 的 数 
据 ， 包 括 生活 习惯 、 社 交行 为 、 财 务 状况 等 ， 全 部 被 各 种 智能 设备 或 传 
感 器 收集 和 利用 并 进行 分 析 ， 并 对 外 形成 一 个 富有 个 人 色彩 的 数据 系 

统 。 小 数据 范畴 下 的 个 体 ， 不 仅仅 包括 自然 人 个 体 ， 还 包括 一 切 具 有 完 
整 内 部 环境 的 个 体 ， 如 家 庭 、 企 业 、 学 校 、 医 院 、 生 态 环境 等 。 通 俗 来 
讲 ， 以 我 们 每 个 人 为 例 ， 小 数据 能 够 观察 个 体 行为 如 发 送 电 子 邮 件 、 短 
信 或 推 符 ， 购 物 或 锻炼 ， 步 行 上 班 还 是 乘 车 上 班 ， 在 家 看 电视 剧 还 是 看 
电影 ， 或 者 在 跟 Amazon Echo 亚 马 还 公司 研制 的 一 球 智 能 首 箱 ) 对 话 
等 。 这 些 痕 迹 反 映 了 我 们 是 谁 、 在 哪 、 和 谁 、 做 什么 。 通 过 数据 整合 ， 

以 可 视 化 的 方式 让 你 能 够 更 了 解 你 自己 。 


因此 ， 小 数据 又 被 称 为 "量化 的 上 自我 ?， 目 的 与 大 数据 相同 ， 提 供 个 





体 决 策 的 依据 。 虽 然 小 数据 迄今 为 止 的 应 用 还 十 分 简单 ， 但 小 数据 大 与 
智能 时 代 的 各 项 新 技术 相 结合 ， 它 能 提供 的 信息 将 远 不 止 于 此 。 





(三 ) 小 数据 的 时 代表 征 
(1) 具有 鲜明 的 个 体 独 特性 


小 数据 是 围 经 个 体 用 户 所 感知 的 数据 集合 ， 体 现 了 较 高 的 数据 价值 
密度 ， 具 有 鲜明 的 个 体 独 特性 。 不 同 层次 的 个 体 用 户 如 企业 层次 和 个 人 
层次 ， 其 数据 广度 和 深度 大 相 径 帮 ;同一 层次 的 个 体 用 户 ， 其 行为 特征 
同样 具有 一 定 的 特异 性 ， 这 导致 涉及 的 小 数据 集 也 各 不 相同 。 即 使 对 于 
同一 个 事件 ， 不 同 的 个 体 用 户 由 于 所 处 环境 、 学 习 背景 、 认 知 能 力 、 思 
维 方式 不 同 ， 其 产生 的 行为 方式 也 是 不 同 的 。 这 也 决定 了 小 数据 的 个 体 
独特 性 。 而 这 一 特征 恰好 为 获取 用 户 的 个 性 化 需求 创造 了 条 件 。 


(2) 具有 复杂 多 样 的 数据 特性 


随 痢 高 性 能 传 感 右 、 可 和 罕 戴 设备 等 智能 产品 和 藤 入 程序 的 广泛 普 
和 运用 ， 这 些 设备 所 产生 的 数据 类 型 体现 出 广泛 的 半 结 构 化 和 非 结构 化 
特征 ， 并 且 随 着 时 间 的 推移 以 及 个 体 用 户 活动 范围 的 扩大 ， 其 产 出 的 数 
据 量 也 在 逐渐 增多 ， 从 而 进一步 加 剧 了 数据 的 复杂 性 。 男 外 ， 在 2.0 时 
代 ， 小 数据 已 经 不 拘泥 于 传统 观念 中 为 了 解决 特定 的 问题 才 去 收集 、 分 
析 、 处 理 指 定 的 相关 数据 的 内 涵 ， 而 是 来 到 了 针对 特定 个 体 进行 数据 生 
产 的 阶段 。 从 这 个 角度 来 讲 ， 小 数据 与 大 数据 兼 具 预测 功能 ， 只 不 过 预 
测 的 视野 和 方式 有 所 区 别 ， 这 种 “预测 ”也 体现 了 小 数据 复杂 多 样 的 数据 
特性 。 此 外 ， 个 体 在 日 常 的 生活 、 学 习 和 工作 中 ， 其 自 喘 产生 的 数据 内 
容 也 上 共有 多 样 性 ， 如 视频 数据 、 图 片 数 据 、 文 本 数据 等 ， 同 时 这 些 数据 
集 具 有 一 定 的 主观 性 、 离 散 性 和 随机 性 。 












































(3) 具有 高 度 的 实时 动态 性 


具有 高 度 的 实时 动态 性 是 由 于 对 个 体 的 感知 和 监控 是 全 天 候 、 全 方 
位 的 ， 因 此 小 数据 的 获取 和 收集 也 是 实时 更 新 、 动 态 存 储 的 。 对 于 同一 
个 体 用 户 而 言 ， 在 不 同 的 时 间 ， 其 所 处 的 情景 状态 是 不 一 样 的 ， 从 而 使 
小 数据 集合 具有 动态 性 和 不 确定 性 。 另 外 ， 个 体 用 户 所 承担 的 任务 和 遇 
到 的 问题 也 是 不 断 变 化 的 ， 用 户 的 需求 行为 随 之 变化 ， 这 也 将 促使 小 数 
据 集 合 的 实时 变动 。 








(4) 具有 明显 的 人 机 交互 性 


1.0 时 代 ， 小 数据 无 需 强调 个 人 的 表达 需求 ， 而 更 关注 样本 对 总 体 
的 代表 性 以 及 对 所 研究 的 科学 问题 的 解释 程度 。2.0 时 代 ， 小 数据 可 以 
以 两 种 方式 走 进 我 们 的 生活 : 第 一 种 是 人 为 采集 小 数据 ， 这 个 层面 上 的 
小 数据 是 消费 者 与 采集 者 分 享 的 有 关 其 独特 偏好 的 微 数 据 ， 比 方 说 他 们 
订阅 哪些 报纸 、 青 睐 哪 家 餐厅 以 及 他 们 在 旅行 时 辟 欢 去 哪些 地 方 ， 通 过 
人 工 对 数据 进行 理解 和 加 工 ， 第 二 种 则 是 通过 各 类 智能 设备 和 传 感 设备 
采集 个 体 的 所 有 数据 ， 这 个 层面 上 的 小 数据 带 有 很 明显 的 人 机 交互 性 ， 
需要 机 各 系统 以 适当 的 方式 回应 不 同 风格 的 用 户 。 








二 、 小 数据 乙 电 起 


图 像 、 语 音 、 文 本 、 情 绪 成 为 近 两 年 最 热门 的 概念 ， 所 谓 需求 驱动 
市 场 ， 市 场 驱动 技术 发 展 。 在 现在 的 人 工 智能 时 代 , “快速 “准确 ”“ 语 
义 ? 才 能 火 ， 而 图 像 、 语 音 、 文 本 、 人 情绪 也 从 过 去 的 大 数据 概念 往 更 高 
深 的 小 数据 技术 领域 前 进 ， 智 能 的 语 首 识别 、 图 像 识 别 、 文 本 识别 、 语 
首 情 绪 识 别 将 走 进 普通 人 的 生活 中 ， 它 们 将 会 有 哪些 值得 我 们 期 得 的 动 
作 ， 让 我 们 所 见 所 昕 的 世界 变 得 生动 起 来 呢 ? 











(一 ) 图 像 识别 








图 像 识 别 技术 是 当前 人 工 智 能 的 一 个 重要 领域 ， 它 取决 于 三 个 要 
素 : 算法 、 大 数据 和 应 用 场景 。 


目前 来 看 ， 图 像 识别 从 以 图 搜 图 到 明星 、 物 体 识 别 ， 再 到 场景 识 
别 ， 甚 至 现在 延伸 到 了 视频 领域 ， 给 行业 市 来 了 太 多 恢 喜 。 现 在 图 片 内 
容 的 价值 已 经 超越 图 片 本 号 ， 并 且 建 立 了 从 图 片 到 电 商 的 商业 模式 。 图 
像 识 别 一 般 针 对 画面 中 的 一 个 对 象 做 识别 ， 比 如 ， 大 众 熟知 的 人 脸 、 明 
星 脸 等 识别 技术 已 经 很 成 熟 了 ， 基 本 识别 率 可 以 达到 90% 以 上 。 近 年 
来 ， 服 饰品 牌 的 同 球 识别 和 风景 识别 也 很 流行 ， 为 旅游 行业 和 服饰 行业 
创造 了 商机 。 图 像 识 别 在 视频 领域 也 体现 出 强大 的 应 用 前 景 ， 新 兴起 的 
互动 视频 技术 Videot+ 已 经 能 实现 视频 中 的 人 脸 和 服饰 同 球 的 识别 ， 可 
以 基于 图 像 识别 技术 发 展 视频 中 的 商业 场景 。 另 外 瞳孔 识别 的 研究 已 经 
提 上 上 日程， 相信 在 不 久 的 将 来 ， 科 约请 中 所 见 即 所 得 的 情景 不 再 是 约 
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JU oO 














但 是 ， 图 像 识 别 技术 在 真实 应 用 场景 中 并 没有 你 想象 中 的 那么 好 ， 
识别 错误 率 依 然 很 品 。 这 是 因为 现 有 的 图 像 识 别 技术 主要 基于 统计 学 原 
理 ， 依 徘 分 析 视 觉 数 据 的 特性 ， 借 助 统计 学 建 模 等 数学 分 析 方 式 提取 出 
来 ， 最 后 应 用 到 图 像 中 。 这 种 图 像 识别 技术 ， 一 方面 实现 的 门槛 比较 
高 ， 对 图 像 类 型 、 质 量 等 都 有 一 定 要求 ， 我 们 提供 的 图 片 光线 、 像 素 、 
角度 等 问题 都 会 造成 识别 不 准确 ; 妨 一 方面 ， 小 数据 特征 在 统计 模型 中 
往往 是 被 忽略 挥 的 ， 而 这 些小 数据 特征 有 时 又 是 整个 图 像 中 最 关键 的 特 
征 。 所 以 目前 图 像 识别 技术 还 仅 作 为 我 们 的 辅助 工具 存在 ， 为 我 们 上 自嘲 
的 人 类 视觉 提供 强 有 力 的 辅助 和 增强 ， 带 给 我 们 一 种 全 新 的 与 外 部 世界 
进行 交互 的 方式 ， 应 用 也 基本 局 限 在 个 别 刚 需 的 垂直 专业 领域 ， 比 如 ， 
医疗 成 像 分 析 的 疾病 预测 、 安 防 监 控 领 域 的 嫌疑 人 指认 等 。 而 在 其 他 领 
域 ， 如 车 险 理 赔 领 域 ， 仍 被 当 作 一 个 另类 来 看 符 。 


2017 年 6 月 ， 蚂 蚁 金 服 在 北京 发 布 了 继 “车 险 分 ?之 后 的 邦 一 亚 车 险 
“ 定 损 宝 ?>。 有 媒体 解读 说 ,“ 定 损 宝 ”的 到 来 ， 会 让 碍 勤 员 彻 确 











产品 
失业 。 

蚂蚁 金 服 给 出 的 定义 是 一 “ 定 损 宝 "应 用 了 深度 学 习 图 像 识别 检测 
技术 ， 用 AI (人 工 智 能 ) 充当 眼睛 和 大 脑 ， 代 普 定 损 员 的 技能 与 工作 ， 
通过 部 署 在 云端 的 算法 识别 事故 照片 ， 与 保险 公司 连接 后 ， 在 几 秒 钟 之 
内 就 能 给 出 准确 的 定 损 结果 ， 包 括 受 损 部 件 、 维 修 方案 及 维修 价格 。 


当 我 们 用 App“〈 应 用 程序 ) 担 摄 事故 车 照片 时 ，App 可 以 实现 对 图 
像 的 自动 识别 ， 判 断 你 担 的 是 什么 配件 。 由 于 采用 了 人 工 智能 技术 ， 它 
可 以 分 析 这 个 配件 是 人 否 损坏 ， 并 且 根 据 数据 库 中 的 价格 ， 目 动 给 出 这 个 
配件 喷漆 和 饭 金 的 价格 。 


但 是 ， 这 于 号 称 基于 汽车 外 观 配 件 的 大 数据 图 像 识 别 产 品 ， 实 际 上 
只 能 解决 车 辆 外 观 别 蹦 的 事故 定 损 ， 而 涉及 车 内 配件 的 损失 、 人 伤 事 
故 、 虚 假 赔 采 等 事故 场景 ， 其 实 部 解决 不 了 。 而 在 车 险 理 赔 中 ， 事 故 原 
因 、 车 内 受 损 程度 、 人 员 伤 残 等 级 等 小 数据 因素 ， 往 往 才 是 案件 最 关键 
的 部 分 。 所 以 当 “ 定 损 宝 ” 这 球 产 品 故 布 后 ， 立 即 就 被 许多 保险 业界 理赔 

















人 十 “吐槽 ”， 要 想 通 过 图 像 识 别 技 术 改 变 保 险 理 赔 ， 还 为 时 过 早 。 


实际 上 ， 虽 然 图 像 识 别 扩 术 距 我 们 实际 应 用 要 求 还 有 很 长 一 段 路 要 
走 ， 但 如 果 图 像 识 别 技术 能 够 将 大 数据 因素 与 小 数据 因 系 结合 考虑 ， 利 
用 小 数据 找到 图 像 中 的 关键 信息 ， 让 机 器 真正 具有 了 视觉 ， 它 们 完全 有 
可 能 代 谷 我 们 去 完成 这 些 工 作 。 未 来 的 图 像 识别 技术 ， 也 一 定 能 够 在 更 
多 应 用 领域 中 取得 实质 性 的 突破 。 可 如 果 图 像 识 别 技术 无 法 解决 小 数据 
的 问题 ， 一 切 所 谓 的 图 像 精 准 识别 仍 将 是 空谈 。 

















(二 ) 语音 识别 


与 机 器 进行 语音 交流 ， 让 机 器 明和 白 你 在 说 什么 ， 这 是 人 们 长 期 以 来 
梦 喉 以 求 的 事情 。 语 音 识别 技术 就 是 让 机 器 通过 识别 和 理解 过 程 把 语音 
言 写 转变 为 相应 的 文本 或 命令 的 技术 。 

语音 识别 技术 起 源 于 1952 年 ， 但 真正 进入 消费 市 场 已 经 是 20 世 纪 90 
年 代 的 事 了 。 有 目前 语音 识别 有 两 大 发 展 方向 ， 一 是 纯 机 械 指 令 ， 基 于 产 
品 定位 而 设计 命令 词组 ， 作 为 高 效 的 辅助 工具 存在 ， 可 以 理解 成 是 小 数 
据 ; 一 是 智能 化 理解 语 境 ， 是 人 工 智能 的 一 个 分 文 ， 与 人 进行 互动 交 
流 ， 并 承担 部 分 处 理工 作 ， 也 是 目前 语音 识别 发 展 的 主要 方向 ， 可 以 理 
解 成 是 大 数据 。 

从 实际 应 用 来 看 ， 两 者 并 不 冲突 。 简 单 精准 的 机 械 指 令 让 工作 更 为 
纯粹 ， 没 必要 做 多 余 的 计算 动作 。 而 很 多 智能 设备 将 语音 作为 "解放 双 
手 ” 的 第 三 类 互动 形态 ， 束 需要 对 人 的 语 境 进行 “理解 ”"， 相 信 很 多 朋友 
都 玩 过 Siri( 苹 果 手 机 上 的 智能 语音 控制 功能 ) 、GoogleNow〔 合 歌 开 
发 的 智能 语音 服务 应 用 ) 、Cortana 〈 小 娜 ， 微 软 开 发 的 个 人 智能 助 
理 ) ， 同 时 也 体验 过 这 些 语音 助手 “会 错 意 ” 的 卖 萌 行为 。 罗 永 浩 在 2016 
年 坚果 发 布 会 上 曾 说 所 有 语音 助手 都 是 “ 仿 ” 知 能， 虽然 有 点 以 偶 概 全 ， 
但 目前 语音 对 语 境 的 识别 确实 还 不 够 智能 ， 远 不 如 机 械 指 令 有 效率 。 









































目前 主流 的 语音 识别 技术 是 基于 统计 模式 识别 的 大 数据 基本 理论 。 
一 个 完整 的 语音 识别 系统 可 大 致 分 为 三 部 分 。 

(1) 语音 特征 提取 : 其 目的 是 从 语音 波形 中 提取 出 随时 间 变 化 的 
语音 特征 序列 。 

(2) 声学 模型 与 模式 匹配 〈 识 别 算法 ) : 声学 模型 通常 将 获取 的 
语音 特征 通过 学 习 算 法 产生 。 在 识别 时 将 输入 的 语音 特征 同 声学 模型 
(模式 ) 进行 匹配 与 比较 ， 得 到 最 佳 的 识别 结 

(3) 语言 模型 与 语言 处 理 : 语言 模型 包括 由 识别 语音 命令 构成 的 
语法 网 络 或 由 统计 方法 构成 的 语言 模型 ， 语 言 处 理 可 以 进行 语法 、 语 义 
分 析 。 对 小 词 表 语音 识别 系统 ， 往 往 不 需要 语言 处 理 部 分 。 

声学 模型 是 识别 系统 的 底层 模型 ， 并 且 是 语音 识别 系统 中 最 关键 的 
部 分 。 声 学 模型 的 目的 是 提供 一 种 有 效 的 方法 以 计算 语音 的 特征 矢量 序 
列 和 每 个 用 音 模 板 之 间 的 距离 。 声 学 模型 的 设计 和 语言 发 音 特点 密切 相 
天 。 声 学 模型 单元 大 小 《〈 字 发 音 模 型 、 半 音节 模型 或 音素 模型 ) 对 语音 
训练 数据 量 大 小 、 系 统 识别 率 ， 以 及 灵活 性 有 较 大 的 影响 。 必 须根 据 不 
同 语言 的 特点 、 识 别 系统 词汇 量 的 大 小 决定 识别 单元 的 大 小 。 

语言 模型 对 中 、 大 词汇 量 的 语音 识别 系统 特别 重要 。 当 分 类 发 生 错 
误 时 可 以 根据 语言 学 模型 、 语 法 结构 、 语 义学 进行 判断 纠正 ， 特 别 是 一 
些 同 首 字 则 必须 通过 上 下 文 结构 才能 确定 词义 。 语 言 学 理论 包括 语义 结 
构 、 语 法 规则 、 语 言 的 数学 描述 模型 等 有 天方 面 。 目 前 比较 成 功 的 语言 
模型 通常 是 采用 统计 语法 的 语言 模型 与 基于 规则 语法 结构 命令 的 语言 模 
型 。 语 法 结构 可 以 限定 不 同 词 之 间 的 相互 连接 关系， 减少 了 识别 系统 的 
搜索 空间 ， 这 有 利于 提高 系统 识别 精确 性 。 

语音 识别 过 程 实际 上 是 一 种 认识 过 程 。 就 像 人 们 听 语 音 时 ， 并 不 把 
语音 和 语言 的 语法 结构 、 语 义 结构 分 开 ， 因 为 当 语音 发 音 模糊 时 人 们 可 
以 用 这 些 知 识 来 指导 对 语言 的 理解 过 程 ， 但 是 对 机 串 来 次 ， 识 别 系统 也 
要 利用 这 些 方面 的 知识 ， 只 是 如 何 有 效 地 描述 这 些 语法 和 语义 还 有 困 




































































难 : 中 小 词汇 量 语音 识别 系统 ， 通 常 包括 几 十 个 词 的 语音 识别 系统 ， 包 
中 等 词汇 量 的 语音 识别 系统 ， 通 常 包 括 几 百 至 上 于 个 词 的 语音 识别 系 
统 ;@@ 大 词汇 量 语音 识别 系统 ， 通 第 包括 几 千 至 几 万 个 词 的 语音 识别 系 
统 。 这 些 不 同 的 限制 也 确定 了 语音 识别 系统 的 困难 度 。 


可 见 ， 即 便 在 语音 识别 的 大 数据 统计 模式 中 ， 语 音 识别 关键 提取 的 
数据 其 实 还 是 小 数据 。 而 且 在 语音 识别 中 ， 很 多 时 候 我 们 没有 那么 多 大 
数据 ， 这 时 我 们 又 该 怎么 办 呢 ? 

此 时 要 想 解 决 这 些 问 题 ， 基 本 的 思路 就 是 共享 ， 用 小 数据 实现 大 数 
据 的 功能 。 现 在 的 语音 识别 基本 是 这 个 样子 的 ， 整 个 一 套 系 统 不 再 有 那 
么 多 复杂 的 模块 ， 基 本 是 由 神经 网 络 负责 从 语音 信号 端 到 说 话 内 容 端的 
学 习 。 那 么 我 们 一 方面 需要 将 语音 的 、 文 本 的 各 种 小 数据 信息 集成 在 一 
起 ， 放 到 大 数据 里 一 起 进行 更 有 效 的 共享 学 习 ; 男 一 方面 非 监 督学 习 是 
间接 利用 语音 大 数据 的 有 效 工 具 ， 我 们 只 有 利用 好 这 些 工 具 ， 才 能 将 现 
阶段 所 拥有 的 小 数据 与 大 数据 结合 起 来 ， 使 小 数据 到 大 数据 的 学 习 成 为 


可 能 。 




















(三 ) 文本 识别 


文字 是 承载 人 类 干 年 文明 的 符 写 ， 是 祖先 留 给 我 们 的 遗产 ， 和 凭借 它 
我 们 可 以 回溯 历史 上 友 生 的 事情 ， 直 富 我 们 当下 的 思想 ， 把 握 时 代 的 命 
脉 。 在 信息 时 代 的 今天 ， 文 字 也 越 来 越 多 地 存在 于 各 类 图 像 之 中 ， 如 何 
便捷 局 效 地 获取 其 中 的 文字 信息 ， 有 着 非常 重要 的 时 代 音 义 。 

文字 识别 (文本 识别 ) 是 利用 计算 机 目 动 识别 字符 的 技术 ， 是 模式 
识别 应 用 的 一 个 重要 领域 。 文 字 识 别 一 般 包 括 文 字 信 息 的 采集 、 信 息 的 
分 析 与 处 理 、 信 息 的 分 类 判别 等 几 个 部 分 。 文 字 识 别 可 应 用 于 许多 领 
域 ， 如 阅读 、 翻 译 、 文 献 资料 的 检索 、 各 类 证 件 的 识别 、 信 件 和 包 囊 的 
分 拒 、 稿 件 的 编辑 和 校对 、 大 量 统计 报表 和 卡片 的 汇总 与 分 析 、 银 行文 
聚 的 处 理 、 商 品 发 票 的 统计 汇总 、 商 品 编码 的 识别 、 丙 品 仓库 的 管理 ， 




















以 及 水 、 电 、 煤 气 、 房 租 、 人 号 保险 等 费用 的 征收 业务 中 的 大 量 信 用 卡 
厂 的 自动 处 理 和 办 公 室 打字 员工 作 的 局 部 自动 化 等 ， 方 便 用 户 快 速 录入 
信息 ， 提 高 各 行 各 业 的 工作 效率 。 

目前 ，OCR (Optical Character Recognition， 光 学 字符 识别 ) 技术 
被 认为 是 文本 识别 最 有 效 的 技术 方式 ， 它 是 通过 扫描 等 光学 输入 方式 将 
各 种 票据 、 报 刊 、 书 籍 、 文 稿 及 其 他 印刷 品 的 文字 转化 为 图 像 信 和 息 ， 再 
利用 文字 识别 技术 将 图 像 信 息 转 化 为 可 以 使 用 的 计算 机 输入 技术 。 其 诞 
生 20 多 年 来 ， 经 历 了 从 实验 室 技术 到 产品 的 转变 ， 目 前 已 经 步 入 行业 应 
用 开发 的 成 熟 阶段 。 

文字 识别 常用 的 方法 有 模板 匹配 法 和 几何 特征 抽取 法 。 

(1) 模板 匹配 法 。 采 用 的 是 大 数据 算法 ， 将 输入 的 文字 与 给 定 的 
各 类 别 标准 文字 《模板 ) 进行 相关 匹配 ， 计 算 输 入 文字 与 各 模板 之 间 的 
相似 性 程度 ， 取 相似 度 最 大 的 类 别 作 为 识别 结果 。 这 种 方法 的 优点 是 用 
整个 文字 进行 相似 度 计 算 ， 所 以 对 文字 的 缺损 、 边 缘 噪 声 等 具有 较 强 的 
适应 能 力 。 缺 点 是 当 被 识别 类 别 数 增加 时 ， 标 准 文字 模板 的 数量 也 随 之 
增加 。 这 一 方面 会 增加 机 器 的 存储 容量 ， 另 一 方面 也 会 降低 识别 的 正确 
率 ， 因 此 只 适用 于 识别 固定 字形 的 印刷 体 文字 。 


(2) 几何 特征 抽取 法 。 采 用 的 是 小 数据 算法 ， 通 过 抽取 文字 的 一 
些 几 何 特征 ， 如 文字 的 端点 、 分 义 点 、 四 凸 部 分 以 及 水 平 、 垩 直 、 倾 斜 
等 各 方 回 的 线段 、 闭 合 环 路 等 ， 根 据 这 些 特征 的 位 置 和 相互 关系 进行 逻 
辑 组 合 判 断 ， 获 得 识别 结果 。 这 种 识别 方式 由 于 利用 结构 信息 ， 也 适用 
于 手写 体 那 样 变形 较 大 的 文字 。 

目前 来 看 ， 文 字 识 别 对 于 标准 的 字体 识别 准确 率 较 高 ， 但 对 于 一 些 
特殊 字体 仍 无 法 准确 识别 。 小 数据 或 许可 解决 这 个 问题 。 在 小 网 格 背景 
下 ， 我 们 可 以 将 每 个 数字 、 英 文字 符 、 特 殊 符 号 看 成 一 个 笔画 模式 或 笔 
画 组 模式 ， 然 后 以 每 一 个 独立 笔 国 为 单位 ， 找 出 每 个 笔 男 相对 关系 的 数 
学 计算 与 表达 规律 ， 调 整 约束 方法 ， 模 糊 角度 范围 ， 形 成 一 种 特殊 的 算 
法 ， 以 提高 特殊 字体 文字 的 识别 准确 度 。 
































(四 ) 情绪 识 列 


情绪 识别 ， 是 一 种 判断 人 的 情绪 变化 的 技术 ， 主 要 是 通过 收集 人 的 
外 在 表情 和 行为 变化 ， 对 人 的 心理 状态 进行 推断 。 在 现代 社会 ， 情 绪 识 
别 技术 已 经 被 广泛 应 用 于 智能 设备 开发 、 健 康 管 理 、 广 告 营销 等 方面 

成 立 于 2009 年 的 一 家 美国 公司 ， 能 通过 摄像 头 捕捉 、 记 录 人 的 面部 
肌肉 运动 ， 并 根据 算法 模型 ， 分 析 面部 表情 ， 得 出 情绪 的 相关 结论 。 这 
种 情绪 识别 技术 ， 是 以 图 像 识别 为 基础 ， 可 以 帮助 广告 商 分 析 广 告 效 
果 ， 找 出 消费 者 真正 感 兴趣 的 部 分 。2012 年 美国 总 统 大 选 时 ， 该 团队 用 
此 技术 追踪 了 200 多 人 观看 奥巴马 和 罗 姆 尼 辩论 时 的 表情 。 结 果 显 示 ， 
这 款 软件 预测 选民 投票 结果 的 正确 率 高 达 7396。 


2012 年 ， 以 色 列 的 一 家 公司 发 明了 一 系列 语音 识别 算法 ， 可 以 根据 
说 话 方式 和 音域 变化 ， 分 析出 愤怒 、 焦 虑 、 垃 福 或 满足 等 情绪 。 心 情 的 
细微 差别 也 能 被 精准 检测 。 迄 今 为 止 ， 该 算法 可 以 分 析出 11 个 类 别 的 
400 种 复杂 情绪 。2013 年 ， 英 国 的 一 家 初创 企业 ， 也 为 此 专门 研发 了 一 
种 语音 识别 平台 ， 能 通过 分 析 音 调 ， 监 测 用 户 情绪 。 目 前 ， 该 系统 可 识 
别 5 种 基本 情绪 : 高兴、 悲伤、 害怕 、 慎 怒 以 及 无 感情 。 识 别 准确 率 为 
70%~80%， 超 过 了 人 和 耳 识 别 的 平均 水 平 。 当 然 ， 该 系统 距离 识别 出 反 
感 、 讽 刺 等 更 复杂 的 情绪 ， 还 有 一 定 差距 。 不 过 从 商业 角度 考虑 ，5 种 
基本 情绪 已 然 够 用 。 


2014 年 ， 加 拿 大 的 一 家 公司 开发 了 一 球 基 于 云 计算 的 人 工 知 能 文本 
分 析 工 具 ， 能 对 电子 邮件 、 网 页 文档 和 手机 短信 进行 情感 色彩 分 析 ， 以 
确定 措辞 是 否 如 实 表 达 了 使 用 者 的 思想 甚至 情感 。 


2017 年 ， 麻 省 理工 学 院 计 算 机 和 人 工 智 能 实验 室 的 研究 人 员 ， 开 发 
了 一 亚 可 穿戴 的 应 用 程序 ， 使 用 时 ， 只 需 将 应 用 程序 安装 在 健康 追 踩 圳 
上 ， 就 能 自动 收集 使 用 者 的 号 体 和 语音 数据 ， 通 过 使 用 人 工 智能 ， 感 知 
使 用 者 的 心跳 和 语音 胸 调 ， 以 此 判断 使 用 者 是 高 兴 还 是 亚 伤 ， 并 每 隔 5 
秒 束 会 追踪 情绪 变化 。 


























情绪 识别 系统 之 所 以 可 以 识别 人 的 情绪 ， 一 方面 是 基于 其 庞大 的 情 
绪 数 据 库 ， 毕 竞 计算 机 要 对 一 种 复杂 的 现象 做 出 判断 就 离 不 开 大 数据 ; 
男 一 方面 也 依赖 于 对 小 数据 特征 的 提取 ， 通 过 捕捉 面部 表情 、 语 首 腔 
调 、 脉 搏 心跳 等 典型 特征 ， 通 过 分 解 、 组 合并 赋予 不 同 的 代码 ， 计 算 机 
系统 束 可 以 进行 精确 的 识别 了 。 


三 、 小 数据 大 洪 能 


(一 ) 小 设备 解读 大 目 我 


人 人， 是 一 切 数据 存在 的 根本 ， 人 的 需求 是 所 有 科技 变 划 发展 的 动 
力 。 如 何 从 内 而 外 深入 地 解剖 自我 将 是 数据 革命 下 一 步 的 深刻 命题 。 既 
然 要 用 数据 手段 解读 复杂 的 个 体外 在 表达 形式 和 内 在 运作 机 理 ， 首 先 就 
要 将 自我 以 多 个 维度 进行 量化 。 

量化 自我 (Quantified Self) ， 是 “运用 技术 手段 ， 对 个 人 生活 中 有 
关 生 理 吸 收 〈Inputs) 、 当 前 状态 〈Status) 和 喘 心 表现 〈Performance ) 
等 方面 的 数据 进行 获取 ”。 狭 义 的 量化 自我 指 与 个 体 日 常生 理 活动 、 状 
态 直 接 相 关 的 量化 和 监测 过 程 一 一 通过 便携 式 传感器 和 智能 设备 等 技术 
手段 ， 来 奶 踪 和 记录 运动 、 睡 眠 、 人 饮食 等 个 体 行为 的 情况 ， 通 过 各 种 数 
据 指 标 来 研究 、 分 析 上 自身 ， 主 要 有 日 癌 记 录 、 运 动 奶 踪 、 睡 眠 管理 、 情 
绪 监 测 、 机 能 监测 五 个 方面 。 广 义 的 量化 自我 绝 不 仅 限 于 身体 和 健康 领 
域 ， 还 包括 个 体 的 日 常生 活 习 惯 、 行 为 、 认 知 等 探索 个 体 生活 的 量化 客 
体 。 如 记录 夫妻 关系、 学 习 、 孩 子 的 情况 、 身 体 以 及 房子 情况 每。 我 们 
每 天 通过 个 人 计算 机 、 智 能 手机 、 信 用 卡 等 不 断 产生 文字 、 照 片 、 声 
音 、 视 频 、 地 理 位 置 和 消费 记录 ， 都 是 在 构成 个 体 的 数据 世界 ， 个 体 把 
对 自我 的 了 解 变 成 个 人 数据 库 。 在 小 数据 体系 下 的 量化 自我 ， 可 以 包含 
多 层次 数据 ， 如 表 1-1 所 示 。 


表 1-1 小 设备 解读 大 自我 























身体 特征 、 运 动 过 程 、 饮 食 习 惯 、 情 绪 数 据 等 





健康 数据 
一 ”关于 人 体 机 能 与 状态 病历 、 身 高 、 体 重 、 血 液 、 心 脏 、 呼 吸 、 睡 卢 、 热 
量 摄取 和 消耗 、 情 绪 








性 格 特点 、 兴 趣 爱好 、 社 交 网 络 行为 、 语 义 习惯 等 














认 知 数据 
一 “关于 个 体 性 格 、 认 知 规律 | 人 经历、 言论、 照片、 视频 、 标 签 、 兴 趣 组 、 访 问 记录 、 
社交 关系 
交易 行为 、 金 融 财务 状态 、 税 务 与 社保 数据 等 
消费 数据 
一 关于 个 体 消费 行为 与 习惯 | 存款 股票、 资产 、 投 资 、 信 用 卡 记录 、 电 子 消费 记录 、 
纳税 与 社保 记录 
大气、 位置 、 通 信和 数据 等 
环境 数据 








一 关于 个 体 与 物理 环境 互动 | LBS (基于 位 置 服务 ) 记录 、 天 气 记录 、 轰 驶 数据 、 
航班 记录 、 通 信 记 录 、 旅 行 记 录 














从 微观 上 看 ， 随 着 微型 传感器 等 小 设备 和 智能 移动 技术 的 发 展 ， 对 
目 我 的 解读 将 不 仅仅 局 限于 上 述 几 类 数据 ， 人 们 对 上 自我 的 解读 也 不 完全 
依赖 于 智能 罕 戴 设备 所 感知 到 的 各 项 指标 。 对 于 个 体 发 展 来 说 ， 更 为 重 
要 的 是 丰富 认识 自我 、 理 解 自 我 、 批 判 自 我 并 最 终 原 这 自我 、 认 同 自我 
的 过 程 和 角度 。 这 些小 设备 ， 在 技术 层面 可 以 监测 并 预防 个 体 患 上 情绪 
病 的 概率 。 在 生命 这 场 声 势 浩大 的 人 海 拾 死 中 ， 又 可 以 陪伴 个 体 度 过 开 
心 、 苗 楚 甚 至 万 分 艰难 的 时 光 ， 并 且 感 知 、 温 暧 我 们 的 内 心 ， 排 解 个 体 
无 可 授 逃 的 孤独 感 ， 使 我 们 更 共 达 地 走向 沧海 之 阔 。 

从 宏观 上 看 ， 当 个 体 的 量化 目 我 行为 成 为 一 种 普 这 的 社会 实践 之 
后 ， 所 谓 的 大 数据 〈 普 适 计算 网 络 )， 就 是 把 世界 划 归 为 两 类 数据 ， 一 
类 是 目 然 数据 ， 为 一 类 是 社会 数据 ， 而 社会 数据 即 是 由 无 数 的 个 体 数 据 
库 构 成 的 量化 自我 的 计算 网 络 一 一 一 个 包罗 万 干 的 社会 数据 网 络 。 











二 ) 小 细节 解锁 大 问题 





小 数据 这 把 金 钥匙 难 找 ， 因 为 它们 基本 上 有 是 弱 信 号 ， 出 现 的 频率 
低 ， 往 往 理 没 在 俩 兰 什 中， 容易 被 忽视 。 同 样 难 的 是 ， 它 们 过 去 没有 规 
律 性 地 出 现 过 ， 对 不 熟悉 的 现象 ， 人 们 心理 上 错 把 它们 当 作 不 大 可 能 的 
现象 。 因 此 ， 雇 策 时 人 们 容易 把 弱 信 号 当 作 背景 品 声 过 滤 掉 。 


在 经 济 全 球 化 的 背景 下 ， 过 去 一 年 “ 黑 天 物 " 频 飞 。“ 黑 天 鹅 * 比 喻 小 
概率 而 影响 巨大 的 事件 ， 警 惕 “ 黑 天 鹅 * 需 要 企业 加 强风 险 管控 ， 展 开 压 
力 测试 ， 最 大 限度 避免 “ 黑 天 物事 件 对 企业 的 伤害 。 这 毫 无 疑问 需要 对 
企业 内 部 小 数据 进行 整合 运用 。 

但 是 ， 相 比 于 “ 黑 天 狼 "， 更 值得 关注 的 或 许 是 另 一 种 " 动 
物 "一 “ 灰 犀牛 *。“ 灰 犀牛 比喻 大 概率 且 影 响 巨 大 的 潜在 危机 。 灰 尿 
牛 体形 策 重 、 反 应 迟缓 ， 你 能 看 见 它 在 远 处 ， 似 乎 可 以 毫 不 在 意 ， 而 一 
旦 它 向 你 狂奔 而 来 ， 定 会 让 你 独 不 及 防 ， 直 接 被 扑 倒 在 地 。 它 并 不 神 
秘 ， 却 更 危险 。 

小 数据 能 做 的 就 是 在 海量 数据 中 发 现 企业 运营 中 被 忽略 和 遗漏 的 信 
息 ， 捕 提 与 企业 休 威 相关 的 “小 细节 "但 “大 到 难以 忽视 "的 信息 ， 并 迅速 
对 其 做 出 反应 。 












































(三 ) 小 体 量 剂 析 大 逻辑 


小 数据 的 数据 量 较 小 ， 更 加 注重 非 结 构 化 数据 之 间 的 关联 ， 注 重 深 
度 挖掘。 在 小 数据 决策 体系 下 产生 的 分 析 结 果 是 逻辑 严谨 ， 能 够 为 通 识 
层面 的 认 知 所 接受 。 也 就 是 说 ， 小 数据 之 美 还 在 于 其 决策 体系 的 进化 ， 
如 图 1-1 所 示 。 





小 数据 数据 


处 理 与 分 析 与 
融合 国 决策 


小 数据 决策 支持 下 的 个 性 化 





服务 提供 与 保障 


图 1-1 小 数据 决策 流程 图 


从 小 数据 决策 流程 上 可 以 看 到 ， 小 数据 主要 先 通 过 网 络 和 移动 终 站 
等 进行 数据 的 采集 ， 然 后 进行 数据 噪声 过 滤 、 数 据 处 理 与 融合 、 数 据 分 
析 与 决策 ， 继 而 提出 个 性 化 服务 决策 方案 ， 最 后 得 到 小 数据 文 持 下 的 个 
性 化 服务 的 提供 与 保障 。 


其 中 ， 数 据 的 采集 抑或 是 语义 的 读 取 是 基于 有 一 定 逻 辑 文 撑 的 机 器 
学 习 成 果 进 行 的 ， 可 以 反映 真实 的 个 体 需求 和 现状 。 而 制定 科学 的 小 数 
据 过 小 和 处 理 标 准 、 分 析 和 决策 方法 ， 则 可 以 保证 小 数据 在 统计 分 析 过 
程 中 对 于 细节 的 保留 ， 这 一 点 是 经 过 标准 化 的 数据 所 缺失 的 ， 也 是 统计 
结果 无 法 用 逻辑 去 解释 的 主要 原因 。 随 着 小 数据 资源 采集 范围 、 种 类 和 
深度 的 快速 增长 ， 过 于 庞大 的 小 数据 会 导致 数据 决策 过 程 复 杂 度 快速 增 
长 ， 并 大 幅 降 低 小 数据 决策 的 可 靠 性 和 可 用 性 ， 因 此 ， 在 小 数据 决策 过 
程 中 ， 应 坚持 数据 高 价值 密度 和 多 样 性 的 原则 ， 尽 量 避 免 数 据 的 价值 和 
可 用 性 下 降 。 

在 这 方面 ， 近 年 来 以 传统 小 数据 为 基础 、 越 来 越 流 行 的 抽样 调查 的 
实验 研究 有 着 独一无二 的 作用 。 研 究 人 员 可 以 在 实验 室 中 对 受 访 人 加 入 
一 定 的 实验 条 件 ， 然 后 观测 受 访 人 是 否 受 到 实验 条 件 的 影响 ， 从 而 确定 
实验 条 件 与 受 访 人 态度 或 行为 之 间 的 因果 关系 《例如 通过 观看 环境 公益 
广告 来 确定 受 访 人 环保 意识 的 变化 ) 。2.0 时 代 的 小 数据 在 构建 因果 关 
系 模型 时 也 应 借鉴 传统 小 数据 的 研究 方法 ， 延 续 其 对 严谨 逻辑 的 解说 
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四) 小 领域 化 解 大 矛盾 


海量 数据 表面 上 很 容易 获得 ， 网 络 是 公共 场所 ， 谁 都 可 以 去 ， 但 现 
实 并 非 如 此 。 如 果 想 真正 获得 有 价值 、 可 以 根据 自己 的 理论 兴趣 做 分 析 
的 多 变量 大 数据 ， 就 会 涉及 以 下 几 个 问题 。 呈 较 高 的 硬性 技术 门槛 及 投 
入 ， 对 于 中 小 型 企业 来 说 ， 数 据 的 需求 与 分 析 的 能 力 形成 了 一 对 基本 巴 
盾 。@ 个 人 的 隐私 、 商 业 或 政府 的 机 密 以 及 个 人 权利 、 经 济 利益 和 政治 
敏感 性 等 问题 。 数 据 共享 与 学 术 伦 理 形 成 了 一 对 基本 矛盾 。(3) 海 量 数 据 
并 不 完全 。 很 多 现象 是 难以 得 到 全 体 数据 的 ， 并 且 很 多 情况 下 全 体 计量 
或 观察 是 不 经 鹿 的 ， 也 没 必要 《大 量 观察 不 等 于 全 体 观 察 ) 。 海 量 数据 
与 数据 代表 性 形成 了 一 对 基本 矛盾 。 而 小 数据 以 一 个 较 小 的 内 部 环境 为 
领域 地 带 ， 能 够 巧妙 地 化 解 这 三 对 阻碍 发 展 的 大 矛盾 。 


首先 ， 小 数据 被 移动 互联 时 代 赋 予 了 不 同 层次 的 功能 谋 赋 。 对 于 中 
小 微 企业 来 说 ， 由 于 技术 壁 役 较 高 ， 看 似 被 动 选择 了 小 数据 战略 ， 但 小 
数据 完全 可 以 凭借 其 对 茶 一 细 分 市 场 的 纵深 分 析 ， 以 或 朴素 或 先进 的 方 
法 完成 对 目标 的 刻画 ， 从 而 化 被 动 为 主动 ， 在 小 数据 分 析 中 找到 企业 定 
位 。 这 样 看 来 ， 小 数据 就 满足 了 中 小 微 企 业 在 茶 一 市 场 的 需求 ， 虽 然 看 
起 来 不 太 完 美 ， 但 小 数据 尽职 尽责 地 完成 了 任务 。 

其 次 ， 小 数据 的 最 大 特点 就 是 数据 来 源 和 数据 使 用 者 是 同一 人 ， 即 
使 中 间 过 程 数据 被 智能 设备 存储 、 分 析 或 上 传 云端 ， 其 仍然 以 < 取 之 于 
民 、 用 之 于 民 ” 的 形式 保证 了 个 人 数据 的 隐私 保护 ， 既 运用 丰富 的 个 体 
数据 进行 了 深度 学 习 和 数据 融合 ， 又 化 解 了 数据 的 共 孚 需求 和 学 术 伦理 
问题 。 

最 后 ， 我 们 强调 海量 数据 不 等 于 能 提供 所 有 所 需 的 数据 ， 可 能 会 出 
现 “ 一 方面 数据 很 丰富 、 但 夯 一 方面 信息 义 很 苇 乏 ”的 现象 ， 这 就 迫使 人 
们 对 海量 数据 进行 再 认识 。 其 实 ， 多 年 来 ， 传 统 的 小 数据 已 经 将 抽样 调 


















































但 技术 进行 了 更 新 达 代 ， 事 实 上 ， 对 于 菏 项 研究 来 说 ， 只 要 制定 科学 的 
抽样 标准 ， 小 数据 代表 总 体 的 能 力 束 非常 强 。 但 是 传统 小 数据 从 制定 抽 
样 标 准 到 最 终 得 出 结果 的 路 程 实在 是 太 漫长 了 ， 已 经 超出 了 “ 黑 科 技 ” 时 
代 所 能 容忍 的 决策 进度 。 因 此 2.0 时 代 的 小 数据 承载 了 新 的 历史 使 命 ， 
搭 上 智能 “高 铁 ?， 踏 上 了 寻找 数据 领域 黄金 平衡 点 的 征程 。 





(五 ) 小 数据 洞悉 大 未 来 


过 去 的 数据 很 大 程度 上 停留 在 说 明 过 去 的 状态 ， 实 际 上 是 用 过 去 的 
数据 说 明 过 去 或 者 解决 目标 问题 ， 因 此 是 一 个 用 小 样本 验证 问题 的 过 
程 ， 是 一 系列 的 历史 问题 。 而 2.0 时 代 下 小 数据 的 核心 是 预见 未 来 ， 其 
对 于 未 来 的 预测 精准 度 很 大 一 部 分 取决 于 小 数据 的 决策 过 程 ， 统 计 结 
是 否 具 有 强 有 力 的 逻辑 文 撑 和 高 价值 密度 。 


在 传统 的 小 数据 研究 中 ， 研 究 人 员 可 以 根据 目 己 的 理论 需求 设计 问 
卷 ， 并 测量 受 访 人 对 不 同 问 题 的 看 法 和 态度 。 此 外 ， 还 可 以 收集 并 未 发 
生 或 发 生 概率 渺茫 的 事件 信息 ， 比 如 ， 通 过 情景 设置 的 方式 或 实验 的 方 
法 来 检验 受 访 者 在 假设 情景 中 可 能 的 态度 和 行为 ， 这 显然 是 小 数据 的 天 
然 优 势 。 此 外 ， 小 数据 在 收集 受 访 人 观念 、 态 度 和 行为 方面 数据 的 同 
时 ， 还 可 以 收集 他 们 的 个 人 基本 人 信息， 例如， 家 寿 、 工 作 、 收 入 、 政 治 
面目 、 宗 教 信仰 等 ， 这 些 信 息 为 解释 受 访 人 的 其 他 行为 和 观念 提供 了 更 
多 的 可 能 性 ， 而 海量 数据 研究 是 无 法 根据 研究 者 的 需要 来 收集 个 人 信息 
的 。 从 这 个 意义 上 说 ， 小 数据 比 大 数据 更 适合 进行 具有 理论 意义 和 理论 
突破 的 研究 。 


而 在 2.0 时 代 下 ， 小 数据 对 于 未 来 的 洞悉 能 力 将 会 大 大 增强 。2.0 时 
代 下 ， 小 数据 通过 更 加 聪 意 的 人 机 互动 系统 实现 对 个 体 信 息 的 全 面 采 
集 ， 并 且 能 够 利用 全 面 的 个 人 数据 优势 ， 络 合 外 部 大 数据 ， 提 供给 个 人 
个 性 化 、 独 特 而 有 价值 的 数据 服务 。 即 小 数据 通过 机 器 学 习 、 自 适应 系 
统 等 方式 与 个 体 共存 共生 ， 结 伴 成 长 。 小 数据 通过 对 个 体 纵深 数据 的 分 
































析 来 了 解 个 体 并 且 预 见 个 人 的 生理 需求 、 情 感 诉求 以 及 更 深层 次 的 如 回 
忆 海 求 、 梦 境 请 求 、 企 业 的 运营 情况 感知 、 上 自然 环境 感知 、 工 作 氛 围 感 
知 、 员 工 情绪 感知 以 及 “ 黑 天 势 ” 风 险 感 知 等 。 小 数据 洞悉 未 来 的 能 力 因 
所 具备 的 机 器 系统 和 所 处 的 目 然 环 境 系 统 需求 而 异 ， 但 未 来 可 以 预见 的 
是 ， 小 数据 将 会 大 放 光 彩 。 





一 、 数 据 变化 趋势 


对 于 任何 企业 来 说 ， 有 效 管理 其 内 部 结构 化 数据 一 一 小 数据 一 一 极 
为 重要 。 请 注意 ， 小 数据 通 间 也 是 很 “大 ”的 ， 它 的 “小 ”仅仅 相对 于 大 数 
据 而 言 。 很 多 企业 存储 的 结构 化 交易 型 数据 已 经 非 第 庞大 了 。 因 此 ， 对 
于 企业 而 言 ， 管 理 好 小 数据 的 需求 是 共同 的 ， 这 种 需求 已 经 超越 企业 类 
型 、 所 属 行业 和 自 喘 规模 等 。 














(一 ) 大 数据 分 析 到 小 数据 提取 


数据 管理 是 个 连续 而 非 一 劳 水 逸 的 工作 ， 没 有 哪个 企业 在 管理 数据 
的 过 程 中 会 一 直 一 帆 风 顺 。 如 果 企 业 能 够 认真 对 待 数据 管理 和 数据 管 
控 ， 那 么 他 们 从 大 数据 中 获取 的 收益 将 会 更 大 ， 这 主要 是 因为 小 数据 的 
提取 往往 是 以 大 数据 分 析 为 前 提 的 。 大 数据 技术 能 够 为 企业 的 小 数据 运 
维 提供 一 个 整体 思路 和 框架 ， 通 过 运用 这 个 框架 ， 企 业 无 须 浪 费时 间 和 
资源 在 用 户 、 产 品 和 员工 数据 上 ， 他 们 只 需 轻 点 几 次 鼠标 ， 或 以 更 加 轻 
松 的 方式 ， 就 可 自动 获取 报表 数据 。 通 过 大 数据 分 析 ， 企 业 可 以 迅速 了 
解 目 己 的 市 场 份额 、 销 售 、 俩 务 、 风 险 程 度 等 小 数据 的 情况 ， 抓 住 市 场 
新 兴 趋 势 。 此 外 ， 大 数据 分 析 为 企业 获取 市 场 需求 提供 了 一 个 可 操作 的 
范式 。 企 业 可 以 通过 社交 媒体 、 搜 索引 擎 方面 的 大 数据 ， 截 取 与 目 喘 产 
品 相 关 的 个 人 信息 ， 帮 助 企业 开 友 潜 在 市 场 。 








二) 小 数据 补 序 大 数据 职能 


大 数据 的 潜在 能 量 很 大 ， 但 大 数据 不 能 取代 传统 数据 管理 的 需求 ， 
也 不 能 取代 其 重要 性 。 无 论 对 个 人 人、 企业， 还 是 政府 ， 小 数据 都 行使 着 
重要 的 描述 性 职责 : 个 体 利 用 小 数据 可 以 判断 在 不 同 领域 正在 发 生 什 
么 ， 即 可 以 借 此 了 解 现状 。 例 如 ， 大 数据 无 法 代 丛 小 数据 范畴 的 交易 型 
和 结构 化 数据 及 其 系统 的 职能 。 从 这 个 角度 来 讲 ， 小 数据 能 够 帮助 企业 
理解 客户 并 做 出 更 好 的 决策 ， 补 充 大 数据 对 于 企业 经 营 的 价值 。 


(三 ) 大 数据 直 是 小 数据 前 景 


从 大 数据 中 得 到 规律 ， 再 用 小 数据 去 匹配 个 人 ， 将 会 是 一 种 更 为 有 
效 的 数据 运用 方式 。 大 数据 相对 于 小 数据 而 言 ， 数 据 量 大 ， 需 要 快速 做 
出 有 反应， 注重 的 是 包含 所 有 个 体 的 数据 ， 运 用 关联 规划、 社交 网 络 、 用 
户 细 分 “根据 行为 ) 、 预 测 与 预警 等 分 析 方 法 来 展现 拉 术 与 数据 之 间 的 
关系。 大 数据 在 归纳 总 结 ， 提 取 特 征 并 进行 决策 预测 方面 有 着 小 数据 无 
法 媲美 的 优势 。 这 些 优势 可 以 丰富 小 数据 的 前 景 。 小 数据 采集 的 是 以 个 
体 为 中 心 的 全 方位 数据 ， 进 行 对 个 体 的 量化 描述 和 完善 服务 ， 如 果 结 合 
以 大 数据 分 析出 的 规律 结果 为 基础 ， 则 能 够 更 加 精准 地 打造 个 性 化 产品 
和 服务 ， 进 而 推动 决 集 。 








四) 大 数据 时 代 下 的 小 数据 视野 


300 多 年 前 ， 英 国 约 元 大 学 统计 学 家 约翰 : 格 朗 特 (John Graunt) 采 
用 样本 分 析 法 推算 出 鼠疫 时 期 伦敦 的 人 口 数 ， 这 种 方法 束 是 后 来 的 统计 
学 。 这 个 方法 不 需要 一 个 人 一 个 人 地 计算 ， 而 是 利用 少量 有 用 的 样本 信 
恩 来 获取 人 口 的 整体 数据 。 在 收集 数据 和 分 析 数 据 都 不 容易 时 ， 随 机 采 
样 束 成 为 应 对 信息 采集 困难 的 办 法 ， 并 在 当时 取得 了 巨 大 的 成 功 ， 成 了 
现代 社会 、 现 代 测 量 领 域 的 主心骨 。 通 过 收集 随机 样本 ， 人 们 可 将 其 用 
于 公共 部 门 和 人 口 普 得， 甚至 用 于 商业 领域 监管 商品 质量 。 随 机 采样 可 











以 被 称 为 传统 的 小 数据 视野 。 


， 在 传统 的 小 数据 视野 下 ， 随 机 采样 有 较 大 的 漏洞 。 传 统 观点 
下 ， 选择 ， 因 此 
这 种 方法 下 的 调查 结果 缺乏 延展 性 ， 即 调查 得 出 的 数据 不 可 以 被 重新 分 
析 以 实现 计划 以 外 的 目的 。 


如 今 在 大 数据 时 代 下 ， 计 算 和 制 表 不 再 像 过 去 那样 困难 。 感 应 器 、 
手机 导航 、 网 站 点 击 和 社交 网 络 被 动 地 收集 了 大 量 数据 ， 而 计算 机 可 以 
轻易 地 对 这 些 数据 进行 处 理 。 当 我 们 可 以 获得 海量 数据 时 ， 传 统 的 以 随 
机 采样 技术 为 核心 的 小 数据 视野 就 应 该 被 抛弃 吗 ? 不 ， 恰 恰 相 反 ， 此 时 
的 小 数据 视野 应 该 在 随机 采样 的 基础 上 得 到 新 的 修正 。 在 海量 数据 得 到 
广泛 应 用 的 同时 ， 小 数据 主要 承担 个 体 的 差异 性 、 个 性 化 反 饿 ， 通 过 获 
取 人 的 情结、 思想、 价值 观 以 及 那些 无 法 被 大 数据 捕捉 的 环境 数据 、 微 
观 经 济 行为 数据 的 数据 语义 ， 从 而 帮助 人 类 更 加 深刻 、 精 准 地 认识 世 
界 、 理 解 世界 。 

















二 、 数 据 本 无 大 小 


(一 ) 大 数据 之 大 : 数据 量 大 ， 分 析 方 法 众多 


当 说 到 大 数据 的 “大 ”时 ， 我 们 指 那些 在 数量 、 种 类 和 速度 三 个 维度 
的 任何 一 个 维度 上 都 很 “大 ”的 数据 集 。 


数量 (Volume) 大 意味 着 分 析 师 在 矩阵 或 者 表格 中 处 理 结构 化 数 
据 时 ， 数 据 和 矩阵 可 能 包含 数 以 百 万 计 其 至 数 以 亿 计 。 将 更 多 的 行 加 入 分 
析 数 据 集中 会 对 分 析 产 生 截 然 不 同 的 影响 。 改 善 预 测 模型 效果 最 有 效 的 
方法 是 加 入 具有 信息 价值 的 新 变量 ， 这 就 使 得 大 数据 在 分 析 中 不 断 加 入 
新 的 变量 以 寻求 最 优 的 模型 效果 。 

种 类 (Variety) 多 意味 着 所 处 理 的 数据 不 仪 仪 是 矩阵 或 表格 形式 的 
结构 化 数据 。 大 数据 时 代 下 ， 越 来 越 多 的 人 认识 到 了 社交 网 络 动 态 、 医 
疗 服务 提供 者 记录 、 社 会 媒体 评论 等 海量 非 结构 化 数据 的 显著 价值 。 这 
意味 着 在 大 数据 分 析 中 ， 构 建 模 型 的 影响 因素 大 大 增加 了 。 

速度 (Velocity) 在 两 个 方面 影响 预测 分 析 : 数据 源 和 目标 。 流 数 
据 一 一 一 个 随时 间 延 续 而 无 限 增长 的 动态 数据 集合 ， 例 如 赛车 的 遥测 或 
者 医院 ICU (重症 加 强 护 理 病 房 ) 监控 设 备 的 实时 反馈 ， 必 须 使 用 特殊 
的 技术 来 采样 和 观测 数据 流 ， 这 些 技术 将 连续 的 数据 流转 换 成 一 个 独立 
的 时 间 序 列 以 便于 分 析 。 

大 数据 在 这 三 个 维度 上 的 “庞大 ”数据 集 也 促成 了 在 大 数据 技术 中 百 
花 齐 放 的 分 析 方 法 。 大 数据 的 预测 分 析 技 术 主 要 包括 两 类 : 统计 方法 和 
机 器 学 习 。 具 体 分 类 如 图 2-1 所 示 。 
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图 2-1 大 数据 的 分 析 方 法 


此 外 ， 大 数据 的 “大 ”还 体现 在 其 计算 的 “庞大 上 。 云 计算 和 大 数据 
就 像 一 枚 硬币 的 正 反 面 一 样 密 不 可 分 。 大 数据 必然 无 法 用 单 台 的 计算 机 
进行 处 理 ， 它 必须 采用 分 布 式 计算 架构 。 它 的 特色 在 于 对 海量 数据 的 挖 
据 ， 但 它 必须 依托 云 计算 的 分 布 式 处 理 、 分 布 式 数据 库 、 云 存储 和 虚拟 
化 技术 。 云 计算 的 核心 技术 水 平 既 能 够 推动 大 数据 前 行 ， 也 能 制约 大 数 
据 的 发 展 。 

企业 和 机 构 要 想 利用 大 数据 实现 更 大 的 业务 价值 ， 需 择 取 最 适合 的 
分 析 方 法 和 平 侣 。 大 数据 之 “大 ”， 可 能 成 为 企业 制胜 的 “核武 器 ”， 也 可 
能 成 为 企业 带 亡 的 “ 达 摩 元 利 斯 之 剑 ”。 











(二 ) 大 数据 之 小 : 共有 一 定 的 普 志 性 ， 微 观 个 体 差 弄 
表现 个 显 考 











就 大 数据 本 喘 而 言 ， 仅 仅 是 增加 了 一 些 在 具体 领域 的 成 功 机 会 ， 虽 
然 大 数据 提供 了 丰富 的 信息 资源 ， 但 我 们 必须 问 这 样 一 个 问题 : 大 数据 
就 是 好 数据 吗 ? 确实 ， 利 用 大 数据 分 析 得 出 正确 结论 或 不 断 逼 近 准 确 结 
果 的 例子 已 经 不 少 。 例 如 ， 谷 歌 对 流感 暴发 的 快速 预测 ， 谷 歌 翻 译 ， 等 
等 。 然 而 ， 大 数据 所 呈现 的 茶 些 趋势 或 规律 只 是 信息 重复 的 结果 ， 是 经 
验 的 电子 化 记录 ， 其 本 身 是 机 械 的 、 死 板 的 ， 其 预测 分 析 结 果 的 准确 性 
取决 于 数据 的 质量 和 规则 的 制定 。 从 这 个 角度 看 ， 大 数据 又 展现 出 了 其 
局 限 性 。 


首先 ， 大 数据 z 全 数据 。 从 整个 社会 层面 来 看 ， 任 何 机 构 与 市 场 主 
体 获 得 的 都 只 是 茶 个 横 和 截面 上 的 大 数据 。 即 便 是 截面 大 数据 ， 也 只 是 局 
部 数据 。 以 消费 品 领 域 为 例 ， 我 们 如 何 获得 消费 者 购买 茶 一 品牌 消费 品 
的 “全 数据 ?? 即便 实现 了 所 有 电子 商务 网 站 数据 的 共享 ， 但 国内 电子 两 
务 只 占 社会 零售 总 额 的 20% 左 右 ， 线 下 数据 如 何 获 得 ?此 外 ， 由 于 商业 
利益 、 数 据 标准 各 寞 等 原因 ， 不 公开 、 难 共 至 最 终 使 数据 制 错 存在 于 圭 
闭 式 的 围墙 内 。 大 家 能 访问 到 、 疏 虫 能 朴 到 、 搜 索引 擎 能 检索 到 的 数据 
较 少 ， 绝 大 多 数 孤 立 存 在 的 点 数据 还 在 暗黑 之 海里 。 


其 次 ， 大 数据 分 析 # 海 量 数据 分 析 。 很 多 行业 将 大 数据 分 析 与 海量 
数据 分 析 直 接 对 等 ， 这 是 不 严谨 的 。 因 为 大 数据 和 海量 数据 的 诉求 并 不 
相同 : (D 海 量 数据 分 析 具 有 明确 的 分 析 目 标 ， 而 大 数据 是 在 分 析 中 寻找 
目标 ; 包 海 量 数据 分 析 注 重 获 取 因 果 关 系 ， 而 大 数据 更 注重 寻找 关联 
性 、 发 现 未 知 知识 ; (8) 海 量 数据 分 析 追 求 一 个 精确 的 结果 ， 而 大 数据 希 
望 快速 寻找 到 可 接受 的 解 。 因 此 ， 大 数据 虽然 “大 ”， 其 结果 也 具备 一 定 
的 普 适 性 ， 但 其 缺乏 针对 性 和 精准 性 ， 并 没有 充分 挖掘 出 海量 数据 的 潜 
力 。 对 于 个 体 发 展 来 说 ， 似 乎 有 点 大 材 “ 小 "用 了 。 
































(三 ) 小 数据 之 大 : 任何 数据 部 是 从 一 个 开始 收集 的 ， 
涉及 范围 广 





其 实 ， 大、 小 数据 之 间 并 无 明显 的 界限 。 再 大 的 数据 也 是 人 们 一 点 
一 滴 聚 沙 成 塔 、 集 腋 成 表 的 。 没 有 小 数据 的 积 少 成 多 、 百 川 归 海 ， 大 数 
据 也 是 无 源 之 水 、 无 本 之 木 。 前 面 我 们 分 析 了 小 数据 之 美和 大 数据 
之 “小 ”， 小 数据 可 以 用 来 解决 和 补充 大 数据 面临 的 窒 境 ， 拉 近 大 小 数据 
的 距离 ， 见 微 知 车 ， 共 同 领略 数据 之 糯 。 


首先 ， 在 不 可 能 获得 全 量 数据 的 现实 下 ， 随 机 抽样 调查 是 洞察 全 体 
的 最 有 效率 的 选择 。 由 于 大 数据 对 于 数据 的 清洗 有 天 然 务 势 ， 其 信息 罕 
度 较 低 。 因 此 ， 大 数据 是 贫 矿 ， 投 入 产 出 比 未 必 优 于 小 数据 。 从 这 个 角 
度 来 看 ， 小 数据 因为 其 “小 “ 细 ”“ 精 * 而 有 大 用 处 。 


其 次 ， 小 数据 更 适合 解决 数据 共 至 难 的 问题 。 在 数据 孤岛 的 前 提 

下 ,一 个 主体 有 了 大 数据 ， 往 往 更 愿意 局 限于 自己 的 数据 库 来 进行 各 种 
分 析 。 还 是 以 消费 品 领域 为 例 ， 购 物 相 关 的 电 商 如 Amazon《〈 亚 马 

还 ) 、 淘 宝 、 京 东 、 唯 品 会 、 聚 美 优 品 等 都 在 浴血 备战、 寻找 自身 的 差 
异化 竞争 战略 。 他 们 将 所 谓 的 大 数据 技术 运用 在 目 己 体 系 内 部 实现 智能 
推荐 、 信 用 评分 系统 ， 实 际 上 是 一 种 “大 为 小 用 ”的 小 数据 的 运用 (运用 
大 数据 技术 形成 的 各 种 数据 对 于 电 丙 平台 来 说 是 自身 核心 范 争 力 的 一 个 
组 成 部 分 ， 是 了 解 目 身 发 展 的 小 数据 ) 。 并 且 ， 他 们 从 中 获 苞 民 多 。 也 
就 是 说 ， 虽 然 由 于 利益 驱动 他 们 不 去 做 数据 共享 ， 但 是 他 们 通过 小 数据 
把 体系 内 部 的 客户 运营 、 服 务 流程 优化 提升 了 ， 也 能 有 效 地 增加 客户 秋 
性 。 事 实 上 ， 小 数据 并 不 能 打破 数据 孤 号 ， 但 却 可 以 使 每 个 数据 孤 品 成 
长 为 兰 异 化 的 “风景 区 ”， 更 好 地 服务 于 “ 骂 上 ”的 居民 和 前 来 放松 的 游客 
〈 用 户 ) 。 因 此 ， 对 于 个 人 、 企 业 来 说 ， 更 容易 操作 的 、 更 有 价值 的 见 
解 更 有 可 能 缠 含 于 小 数据 中 。 


当然 ， 随 着 时 代 的 发 展 ， 数 据 孤 岛 早 晚 要 变 成 一 片 数 据 的 海洋 ， 小 
数据 在 尽职 尽 贡 发 展品 上 ?事业 的 同时 ， 目 身 积累 的 数据 体 量 也 会 越 来 

































































越 大 ， 目 然 会 发 出 “路 界 经 营 ” 的 数据 诉求 。 比 如 我 们 现在 看 到 的 : 做 电 
商 的 想 做 社交 ， 做 社交 的 想 做 电 商 ， 做 线 上 的 想 做 线 下 ， 做 流量 入 口 的 
想 做 O20〈 线 上 到 线 下 ) .……. 这 些 兼 并 重组 会 让 小 数据 一 步 步 成 长 为 具 
有 更 大 社会 价值 的 数据 资源 。 





(四 ) 小 数据 之 小 : 具有 个 体 的 针对 性 ， 求 同 存 异 





相对 于 大 数据 来 说 ， 小 数据 体积 小 、 易 于 快速 理解 ， 数 据 的 读 取 分 
析 和 处 理 都 相对 简单 。 传 统 的 小 数据 是 以 ”人力 为 主 ， 机 器 为 辅 ?的 运行 
模式 ， 在 数据 的 采集 、 存 储 、 传 输 和 处 理 中 大 量 依赖 人 力 资 源 。 如 今 的 
小 数据 慢 慢 成 长 为 以 “机 器 为 主 ， 人 力 为 辅 ” 的 运行 模式 ， 各 种 传 感 设备 
和 智能 设备 成 为 数据 采集 、 存 储 、 传 输 和 人 处理 的 主体 ， 人 人 力 只 在 模型 设 
计 、 参 数 设 置 、 编 辑 矫 正 等 环节 发 挥 作用 。 因 此 小 数据 能 够 在 采集 个 体 
全 局 数据 的 同时 更 加 充分 地 洞察 个 体 的 寞 质 性 。 全 局 数据 不 同 于 全 部 数 
据 ， 在 任何 体系 内 的 数据 抽取 和 沉积 部 只 能 是 客观 世界 的 映像 ， 是 客观 
世界 的 一 部 分 ， 而 不 是 全 部 。 全 局 数据 意味 着 在 不 打破 所 有 体系 的 情况 
下 对 系统 内 部 的 数据 进行 处 理 和 学 习 。 


小 数据 的 全 局 观 是 ， 针对 有 具体 问题 进行 个 性 化 处 理 ， 偶 重 于 理解 数 
据 与 基本 事实 之 间 的 逻辑 关 系 。 小 数据 使 人 类 行为 摆脱 了 对 经 验 的 依 
赖 ， 人 类 决策 由 主观 性 开始 走 辐 客 观 性 ， 是 人 类 乔 芒 对 绽 昧 的 一 次 重要 
胜利 。 随 肴 数据 采集 技术 、 存 储 技术 、 传 输 拉 术 、 处 理 技术 和 安全 技术 
的 全 面 创新 ， 小 数据 也 能 学 习 ， 也 能 复杂 化 ， 其 远 比 我 们 想象 的 要 强 
大 。 小 数据 对 系统 内 部 全 局 数据 的 采集 和 挖掘 将 会 更 加 聪慧 ， 再 络 合 
项 新 技术 加 以 综合 运用 ， 小 数据 将 大 展 宏图 。 




















(一 ) 见 微 知 车 


在 数据 的 江湖 里 ， 既 有 波 调 壮 阔 的 大 数据 ， 也 有 细 流 涟 游 的 小 数 
所， 二 者 相辅相成 ， 才 能 相映 生 辉 。 美 国电 子 电 气 工程 师 协 会 会 士 、 中 
国 科学 院 计 算 技 术 研究 所 研究 员 闵 应 骅 曾 表示 : 目前 大 数据 流行 ， 人 们 
就 言 必 称 大 数据 ”， 这 不 是 做 学 问 的 态度 ， 不 要 碰 到 大 量 的 数据 ， 就 给 
它 戴 上 一 顶 “ 大 数据 ?的 帽子 。 我 们 对 此 深 表 赞同 ， 大 数据 体现 出 规律 ， 
小 数据 强 含 着 智 意 ， 它 们 都 闪烁 着 理 想 之 光 ， 它 们 的 适用 也 都 是 有 一 定 
的 条 件 的 。 


人 类 已 经 清醒 地 意识 到 ， 大 数据 、 大 未 来 的 风 漳 正 在 席卷 各 行 各 
业 ， 改 变 着 人 类 生活 的 方式 和 观念 。 警 察 可 以 通过 犯罪 数据 和 社会 信息 
来 预测 犯罪 栾 ， 科 学 家 可 以 通过 遗传 数据 预测 疾病 的 早期 迹象 …... 我 们 
通过 一 个 详细 的 例子 来 说 明 大 数据 与 小 数据 所 解决 的 问题 。 


大 数据 将 改变 当代 医学 ， 大 数据 和 物 联 网 的 组 合 更 是 将 医学 变 昔 的 
速度 提升 了 一 个 档 位 。 如 基因 组 学 、 蛋 白质 组 学 、 代 谢 组 学 等 。 但 是 ， 
同时 我 们 清醒 地 意识 到 ， 由 个 人 数字 跟踪 驱动 的 小 数据 ， 也 将 为 个 人 医 
疗 翻 开 针 新 的 一 章 ， 特 别 是 当 可 罕 戴 设备 更 成 熟 后 ， 移 动 技 术 将 可 以 连 
续 、 安 全 、 en a ei 这 将 包括 你 的 工作 、 购 
物 、 睡 觉 、 吃 饭 、 锻 炼 和 通信 ， 退 躁 这 些 数据 将 得 到 一 幅 只 属于 你 的 健 
康 目 画 像 。 

假设 你 是 一 名 患者 ， 这 样 精确 而 个 体 化 的 小 数据 也 许可 以 帮助 你 回 
答 : 每 次 服药 应 该 用 怎样 的 剂量 ? 当然 药物 说 明 书 上 会 有 一 个 用 药 指 
导 ， 但 那个 数值 是 基于 大 量 病人 的 海量 数据 统计 分 析 得 来 的 ， 它 适 不 适 




















合 此 时 此 刻 的 你 呢 ? 于 是 ， 你 就 需要 了 解 关于 你 自己 的 小 数据 。 再 比如 
癌症 治疗 ， 肿 瘤 细胞 的 DNA 对 不 同 的 癌症 病人 会 引起 不 同 变化 。 所 以 ， 
对 许多 患者 用 同一 个 治疗 方法 是 不 可 能 成 功 的 。 个 性 化 或 者 说 层次 式 的 
药物 治疗 是 按照 特定 患者 的 条 件 开 出 药方 一 不 是 “对 症 下 药 "， 而 

是 “对 人 下 药 ”。 这 些 个 性 化 的 治疗 都 需要 记录 和 分 析 个 人 行为 随时 间 变 
化 的 规律 。 这 就 是 小 数据 的 意义 。 

目前 ， 各 行 各 业 碰 到 的 数据 处 理 多 数 还 是 “小 数据 ?问题 。 不 管 是 大 
数据 还 是 小 数据 ， 我 们 应 该 敞开 思维 ， 研 究 实际 问题 ， 切 忌 空 谈 ， 精 准 
定位 磁 到 的 数据 业务 问题 。 以 应 用 而 非 以 技术 为 导向 ， 不 要 言 目 追逐 焦 
点 技术 。 以 企业 管理 为 例 ， 不 要 指望 大 数据 能 够 拯救 一 家 即将 倒闭 的 企 
业 ， 不 要 指望 大 数据 能 够 弥补 企业 的 管理 不 完善 造成 的 失误 ， 也 不 要 指 
望 大 数据 能 修复 已 经 训 败 的 企业 文化 。 大 数据 是 站 在 高 点 统 揽 全 局 的 ， 
是 具有 前 瞻 性 的 作战 总 指挥 官 ， 而 不 是 在 前 线 筹 谋 全 局 、 艾 旗 斩 将 的 英 
勇将 军 。 

当然 ， 这 并 不 是 说 大 数据 在 解决 问题 中 就 不 重要 。 我 们 认为 ， 大 数 
据 与 抽样 小 数据 在 数据 时 代 具备 不 同 的 优 劣 势 ; 大 数据 面向 数据 ， 部 分 
全 覆盖 ， 实 时 敏感 ， 数 据 源 存在 偏差 ， 小 数据 面向 个 体 需求 ， 样 本 细节 
清晰 ， 学 习 周 期 较 长 。 应 该 说 ， 两 者 属于 两 个 不 同 范畴 的 概念 ， 两 者 之 
间 不 是 颠覆 与 被 颠覆 、 蔡 代 与 被 替代 的 敌对 关系 ， 而 是 相互 融合 、 相 互 
补充 的 伙伴 关系 。 

大 数据 从 宏观 层面 加 速 了 科学 研究 、 产 业 创新 、 行 业 融 合 的 步伐 ， 
非常 适合 数据 采集 标准 统一 、 共 享 度 高 、IT 技 术 水 平 发 达 的 行业 ， 如 金 
融 科 技 前 沿 理论 、 无 人 驾驶 汽车 或 飞机 、 高 精 尖 医疗 技术 理论 、 人 工 知 
能 理论 等 ， 进 行规 范 的 数据 整合 、 挖 气 ， 能 够 大 大 缩短 人 们 认识 某 项 新 
鲜 事物 所 需 的 时 间 ， 其 对 于 技术 和 理论 的 革新 、 国 家 经 济 的 发 展 是 必 不 
可 少 的。 而 现在 的 小 数据 则 结合 了 大 数据 中 运用 的 分 析 方 法 ， 加 以 精 
简 ， 从 另外 一 个 角度 对 数据 的 本 体 进行 更 加 深入 的 了 解 。 小 数据 通过 不 
断 的 学 习 ， 能 从 微观 层面 上 理解 个 体 的 行为 和 环境 的 变化 ， 逐 渐 成 为 个 


























体 生 产生 活 的 一 个 好 帮手 。 它 不 关注 规律 的 探索 ， 而 专注 对 个 体 变化 的 
感知 ;， 它 不 淘 求 标准 的 数据 ， 而 沉浸 于 对 个 体 输出 的 学 习 ; 它 不 想 成 为 
一 个 庞杂 数据 的 分 析 机 器 ， 它 的 理想 是 与 个 体 一 道 长 大 ， 成 为 与 个 体 之 
魂 相 契 合 的 知音 。 


在 未 来 ， 经 济 将 不 再 由 石油 驱动 ， 而 由 数据 驱动 。 数 据 对 各 行 各 业 
革命 性 的 影响 已 经 显现 ， 而 唯 有 大 小 数据 融合 ， 才 能 将 数据 的 魅力 发 挥 
到 极致 。 一 部 《纸牌 屋 》 让 电视 媒体 与 流 媒体 视频 行业 知晓 了 大 数据 应 
用 的 威力 ， 从 用 户 数 据 挖掘 出 用 户 蝇 欢 的 视频 风格 、 内 容 风 格 、 导 演 和 
演员 等 ， 成 束 了 互联 网 时 代 的 内 容 制 作 新 典范 ;一 家 老牌 财经 媒体 《 金 
融 时 报 》 通 过 大 数据 分 析 读 者 的 需求 ， 为 其 提供 个 性 化 的 信息 ， 于 是 实 
现 用 户 的 付费 阅读 ， 开 辟 了 全 新 的 商业 人 盘 利 模式 .…… 而 在 未 来 ， 凭 借 镶 
能 设备 的 进一步 成 熟 应 用 ， 这 些 信息 将 会 成 为 小 数据 系统 中 实时 更 新 的 
知识 库 的 一 部 分 ， 并 为 其 所 用 。 从 大 数据 得 到 规律 ， 用 小 数据 去 匹配 个 
人 ， 更 好 地 反馈 到 人 机 互动 的 进程 中 。 

















(二 ) 大 小 并 行 





美国 著名 科技 历史 学 家 梅 尔 文 :元 兰 效 伯 格 (Melvin Kranzberg) ， 
曾 提出 大 名 易 易 的 科技 六 定律 ， 其 中 第 三 条 定律 是 这 样 的 : “技术 总 是 
配套 而 来 的 ， 但 这 个 ' 套 ' 有 大 有 小 〈Technology comes in packages, big 


and small) 。»” 


这 个 定律 用 在 当下 非常 应 景 。 因为， 我 们 正 步 入 一 个 “大 数据 ”时 
代 ， 但 对 于 以 往 的 “小 数据 ?”， 我 们 能 做 到 “* 事 了 拂 衣 去 ， 深 藏 吴 与 
名 ” 吗 ? 答案 显然 不 能 。 目 前 ， 大 数据 的 前 途 似 乎 “星光 灿烂 >， 但 小 数 
据 的 价值 依然 “风采 无 限 *?。 殉 兰 效 伯 格 的 第 三 定律 告诉 我 们 ， 新 技术 和 
老 技术 的 上 自我 革新 演变 是 交织 在 一 起 的 。 大 数据 和 小 数据 ， 它 们 “配套 
而 来 >， 共同 勾 男 数据 技术 (Data Technology) 时 代 的 未 来 。 


大 数据 已 被 舍 恩 伯 格 教授 、 涂 子 沛 先生 等 先行 者 及 其 退 随 者 夸 得 泛 








揽 成 灾 。 但 正如 我 们 所 知 ， 任 何事 情 都 有 两 面 性 。 在 众人 都 赞 大 数据 很 
好 的 时 候 ， 我 们 也 需 分 析 一 下 大 数据 可 能 面临 的 陷阱 ， 只 是 为 了 让 大 数 
气 能 走 得 更 稳 。 在 大 数据 的 光 晕 下 ， 当 小 数据 渐 行 渐 远 渐 无 时 ， 我 们 也 
聊 聊 小 数据 之 美 ， 为 的 是 “大 小 并 行 ， 不 可 侦 废 "。 大 有 大 的 好 ， 小 有 小 
的 妙 ， 如 同一 昌 人 沫 ， 哪 道 才 是 你 的 爱 ?” 思量 几 番 再 下 筷 。 

大 数据 的 多 样 性 ， 给 大 数据 分 析 带 来 了 庞大 的 力量 。 很 多 小 概 座 、 
大 影响 的 事件 ( 黑 天 鹅 事 件 ) ， 在 单一 的 小 数据 环境 下 ， 很 可 能 难以 被 
发 现 。 但 是 由 “四 面 八方 汇集 而 来 的 大 数据 ， 却 能 有 机 会 提供 更 为 深刻 
的 洞 坚 。 例 如 ， 六 症 属于 一 类 长 尾 病症 ， 经 过 多 少年 努力 ， 烛 症 治愈 率 
仅 提 升 了 不 到 89%。 其 中 一 个 重要 原因 是 ， 单 个 总 症 的 诊疗 机 构 的 况 证 
基因 组 样本 都 相对 有 限 。 "小 样本 ”得 出 的 有 关 “ 瘤 症 诊断 ”的 结论 ， 极 有 
可 能 是 “盲人 摸 象 式 ” 的 。 


大 数据 的 多 样 性 ， 给 人 们 带 来 了 “ 兼 听 则 明 ” 的 智 莫 。 然 而 ， 正 如 责 
谚 所 云 ，“ 一 个 人 硬币 有 两 面 (Every coin has two sides) ”， 多 样 性 也 会 带 
来 一 些 不 易 察 党 的 “陷阱 >。 用 ”成 也 肃 何 ， 败 也 外 何 ”来 朱 述 大 数据 的 两 
难 ， 再 恰当 不 过 了 。 

1989 年 ， 管 理学 家 罗素 : 艾 可 夫 (Russell L.Ackoff) 撰写 了 《从 数 
据 到 智慧 》 (From Data to Wisdom) 一 书 ， 系 统 地 构建 了 DIKW 体 系 ， 
即 数据 (Data) 、 信 息 (Information〉、 知 识 (Knowledge) 及 智慧 
(Wisdom) 。DIKW 体 系 提出 对 数据 如 果 不 实 施 进一步 的 处 理 ， 即 使 收 
集 数据 的 容量 再 “大 ”， 也 坚 无 价值 ， 因 为 仪 仅 就 数据 本 里 来 说 ， 它 们 
是 “一 无 所 知 (Know-Nothing) ”的 。 数 据 最 大 的 价值 ， 在 于 形成 信息 ， 
变 成 知识 ， 乃 至 升华 为 智慧 。 

电子 科技 大 学 周涛 教授 认为 :“ 放 弃 对 因果 性 的 退 求 ， 就 是 放弃 了 
人 类 凌 轨 于 计算 机 之 上 的 智力 优势 ， 是 人 类 自 喘 的 放纵 和 哺 沙 。 如 果 未 
来 某 一 天 机 器 和 计算 完全 接管 了 这 个 世界 ， 那 么 这 种 放弃 就 是 末日 之 
始 。” 对 大 数据 的 因果 性 和 相关 性 的 探讨 ， 是 人 类 惯 有 的 思维 ， 在 这 个 
惯性 思维 的 推动 下 ， 很 容易 误 把 “相关 ” 当 “ 因 果 ” 一 一 这 是 我 们 需要 警惕 


















































的 大 数据 陷阱 。 

从 上 面 的 分 析 可 以 看 出 ， 大 数据 是 前 治 ， 但 我 们 更 不 能 对 现状 熟 视 
无 睹 一 一 小 数据 依然 是 主流 。 目 前 大 多 数 公 司 、 企 业 其 实 仍 处 于 “小 数 
据 ? 处 理 阶段 。 但 只 要 在 纵向 上 有 一 定 的 时 间 积累 ， 在 横向 上 有 较 丰 富 
的 记录 细 市 ， 通 过 多 个 源头 对 同一 个 对 象 采集 的 各 种 数据 进行 有 机 整 
合 ， 实 施 合 理 的 数据 分 析 ， 残 可 能 产生 大 价值 。 基 于 此 ， 我 们 认为 在 大 
数据 时 代 ， 绝 不 能 抛弃 “小 数据 *。 对 精确 的 奶 求 ， 历 来 是 传统 的 小 数据 
的 强项 ， 这 在 一 定 程 度 上 弥补 了 大 数据 的 “混杂 性 ”缺陷 。 犹 如 有 人 句 歌 词 
唱 的 那样 ;“ 结 识 新 朋友 ， 不 起 老 朋友 。*” 在 大 数据 时 代 ， 我 们 也 不 能 志 
记 小 数据 。 大 数据 有 大 数据 的 力量 ， 小 数据 有 小 数据 的 美 。 





























四 、 打 通 数据 孤岛 


小 数据 的 单独 存在 无 法 得 到 整体 的 规律 性 。 大 数据 的 单独 存在 会 忽 
略 小 数据 的 特殊 性 。 

无 论 是 大 数据 ， 还 是 小 数据 ， 痢 是 局 部 数据 ， 局 部 的 清晰 最 终 融 来 
的 是 类 似 “ 冒 人 摸 象 ” 的 效果 。 要 想 达 到 整体 清晰 ， 需 要 在 大 数据 的 基础 
上 获得 更 多 的 信息 。 一 种 方式 是 数据 与 数据 的 关联 对 接 ， 大 数据 的 精髓 
在 于 数据 是 关联 的 ， 跨 领域 关联 ， 通 过 一 加 一 产生 远大 于 二 的 价值 。 而 
考虑 到 异 源 大 数据 之 间 缺 乏 统一 的 、 互 认 的 数据 规范 与 标准 ， 通 过 能 够 
洞察 整体 的 小 数据 打通 大 数据 的 孤 品 ， 基 终 拼 成 一 个 清晰 的 画像 是 可 行 
的 办 法 。 妃 一 种 方式 就 是 在 “大 数据 ?中 随机 《或 用 其 他 方法 ) 选取 部 分 
样本 ， 对 这 些 顾 客 进行 问卷 调查 ， 以 补充 数据 库 中 缺失 的 信息 ， 然 后 通 
过 对 接 将 问卷 调查 的 信息 融入 全 体 数据 的 分 析 中 。 天 和气 预报 撤 术 的 发 明 
成 功 融合 了 大 小 数据 的 理解 和 和 运用， 现代 天 气 预报 流程 如 图 2-2 所 示 。 
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图 2-2 天 气 预 报 制作 流程 





1916 年 ， 德 国人 理 查 森 (Lewis Fry Richardson) 尝试 把 大 数据 化 
小 ， 把 整个 德国 的 天 气 分 割 成 纵横 交错 的 小 矩阵 。 这 样 每 个 矩阵 格子 里 
的 气候 条 件 及 其 对 城市 的 影响 就 显而易见 了 。 可 惜 的 是 ， 碍 于 当时 应 用 
数学 的 发 展 ， 理 查 森 的 设想 破灭 了 。1950 年 ， 诺 尔 曼 将 电脑 计算 和 理 碍 
和 森 的 方法 整合 在 一 起 。 于 是 我 们 有 了 越 来 越 可 徘 的 天 气 预 报 。 理 查 森 的 
小 数据 价值 在 于 他 对 气候 现象 深刻 的 理解 ， 并 提炼 出 关键 要 素 。 诺 尔 曼 
的 大 数据 贡献 在 于 精确 运算 关键 要 素 的 动态 运行 形势 和 方向 。 二 者 续 
合 ， 我 们 才 有 了 对 天 和 气 的 预报 能 


通过 小 数据 的 收集 得 到 大 数据 样本 ， 大 数据 分 析 样 本 得 到 宏观 规 
律 ， 然 后 再 用 小 数据 微观 更 正大 数据 未 考虑 的 个 体 差 异 ， 这 是 大 小 数据 
融合 的 真 诺 。 而 在 想 从 根本 上 实现 大 小 数据 的 融合 ， 需 要 着 力 关 注 数据 
获取 、 数 据 路 域 关 联 和 数据 深度 挖掘 三 个 方面 的 问题 。 























(一 ) 数据 精准 获取 








对 于 各 行 各 业 而 言 ， 一 个 可 以 预期 的 大 数据 模式 是 ， 在 统一 用 户 数 
据 和 内 容 数据 管理 的 基础 上 ， 将 不 同类 型 的 内 容 数据 抽取 、 分 析 、 聚 
类 ， 依 据 不 同 介质 的 传播 特点 ， 把 合适 的 信息 及 时 准确 地 传递 给 需要 的 
人 。 这 个 模式 的 前 提 是 ， 内 容 数据 以 及 用 户 数据 要 足够 丰富 。 大 数据 解 
决 模 回 的 内 容 问题 ， 实 现 数据 的 快速 挖掘 分 机; 小 数据 解决 纵深 的 内 容 
问题 ， 实 现 信息 与 个 性 化 需求 的 完美 匹配 。 


举 个 例子 ，2016 年 中 国 中 央 电 视 台 市 场 研究 股份 有 限 公 司 (CTR) 
曾 着 手 研 发 一 个 叫 “ 专 属 社区 ”的 观众 用 户 化 模块 产品 。 其 设想 是 ， 借 
鉴 “ 辽 辑 思维 ?的 “魅力 人 格 体 ?思维 ， 充 分 利用 电视 频道 、 栏 目的 主持 
人 、 嘉 宾 等 核心 要 素 品 牌 ， 通 过 PC《〈 个 人 计算 机 ) 、 移 动 互联 网 、 社 
交 平 台 等 一 切 可 能 的 沟通 渠道 ， 为 电视 频道 、 品 牌 栏 目 招 葵 儿 万 、 几 十 
万 的 忠实 观众 ， 并 与 之 建立 起 日 党 化、 实时 化 的 交互 联系 ， 从 而 获取 电 
视 观众 的 ID 〈 号 体 证 明 ) ， 建 立 其 电视 频道 、 栏 目的 专属 用 户 数据 库 。 
在 与 观众 建立 起 日 音 化 、 实 时 化 的 交互 联系 之 前 的 各 步 又， 都 是 大 数据 
汲取 海量 信息 的 过 程 ， 而 当 其 开始 与 观众 交互 时 ， 更 需要 每 个 ID 背后 的 
各 种 小 数据 。 大 数据 通过 采集 小 数据 系统 的 信息 进行 更 加 精准 的 投放 ， 
小 数据 也 可 以 通过 接收 大 数据 提供 的 节目 信息 来 丰富 目 身 数据 的 维度 。 
























































(二 ) 数据 跨 域 关联 


数据 只 有 跨 域 关联 才能 发 挥 最 大 的 价值 : 国家 电网 智能 电表 的 数据 
和 地 产 数据 交叉 ， 可 以 用 于 估计 房屋 空置 率 ; 金融 数据 和 电 商 数据 碰撞 
在 一 起 ， 就 产生 了 像 小 微 贷 款 那样 的 互联 网 金融 ， 电 信 数 据 和 政府 数据 
相遇 ， 可 以 产生 人 口 统计 学 方面 的 价值 ， 帮 助 城市 规划 人 们 居住 、 工 
作 、 娱 乐 的 场所 .…… 而 大 数据 与 小 数据 的 路 域 关联 ， 为 数据 孤岛 建立 了 
桥架 。 

让 我 们 以 自然 人 为 例 来 说 明 数 据 跨 域 关 联 的 实现 及 其 对 大 小 数据 融 
合 的 作用 。 对 于 一 个 个 体 用 户 而 言 ， 他 既 要 看 电视 ， 又 要 使 用 搜索 引擎 








查阅 资料 ， 还 需要 聊 微 信 、 刷 微 博 ， 同 时 还 有 线 上 电子 商务 数据 ， 线 下 
医保 、 社 保 等 数据 ， 以 及 交通 出 行 、 兴 趣 爱好 等 数据 。 对 于 小 数据 系统 
来 次 ， 要 了 解 一 名 用 户 ， 这 些 数据 需要 关联 起 来 进行 处 理 。 而 大 数据 在 
做 什么 呢 ? 现在 大 数据 还 在 行业 层面 整合 所 有 这 些 行为 的 平台 数据 。 但 
古 正 如 我 们 前 面 提 到 的 ， 这 些 数 据 目 前 还 在 各 种 孤 久 上 深 泊 ， 无 法 “ 离 
怠 ? 进 入 数据 海洋 ， 而 小 数据 使 之 变 成 了 可 能 。 通 过 收集 以 上 所 有 行为 
的 数据 ， 将 其 提供 给 大 数据 分 析 平 台 ， 将 能 够 使 数据 实现 “ 离 咏 出 海 * 的 
愿望 。 图 2-3 所 示 的 是 一 个 理想 的 大 小 数据 跨 域 关联 后 实现 的 对 行业 大 

数据 的 刻画 和 描绘 。 在 此 过 程 中 ， 同 样 地 ， 小 数据 右 想 收集 这 些 数 据 ， 
就 不 可 避免 地 要 使 用 大 数据 的 学 习 方 法 和 分 析 方 法 ， 从 而 更 快 、 更 全 

面 、 更 准确 地 采集 、 提 取 数 据 及 其 语义 。 


T: 行业 大 数据 


汇总 计算 













Y: 未 知 大 数据 





抽样 调查 


图 2-3 小 数据 与 大 数据 关联 的 关系 范式 


(三 ) 数据 深度 挖掘 


数据 的 意义 不 仅 在 于 谁 掌握 了 它 ， 更 在 于 通过 数据 能 够 发 现 什么 ， 
能 人 否 准确 地 知道 你 干 过 什么 ， 将 会 干什么 。 这 便 是 数据 挖掘 能 力 的 价 
值 。 对 于 深度 的 数据 挖掘 ， 时 下 有 两 种 对 立 的 态度 : GD 技术 主导 派 ， 他 
们 提出 “万 物 缘 数 "， 认 为 量化 数据 的 技术 在 决策 中 具有 举足轻重 的 作 
用 ; 己 技 术 为 辅 派 ， 他 们 认为 搁 术 是 服务 于 决 集 体系 的 ， 不 应 盲从 于 技 
术 ， 念 大 其 价值 。 我 们 更 认同 技术 作为 辅助 手段 的 意义 和 作用 。 事 实 
上 ， 数 据 的 深度 挖掘 是 人 类 用 来 量化 上 自身 和 周围 环境 、 市 场 变 化 的 一 个 
深入 浅 出 的 过 程 。 

虽然 数据 的 深度 挖掘 过 程 本 身 朝 显 了 技术 的 重要 性 ， 凝 结 了 大 量 IT 
开发 技术 人 才 的 心血 ， 但 是 技术 本 身 是 服务 于 信息 的 。 信 息 回 有 深浅 之 
分 ， 因 此 数据 也 有 “小 “大 ”之 分 ， 信 息 解 读 也 有 难 易 之 别 。 因 此 ， 大 小 
数据 的 深度 挖掘 技术 架构 应 各 目 有 其 侧重 点 ， 本 痢 相 互补 充 的 目的 ， 和 倒 
此 借鉴 ， 去 伪 存 真 ， 实 现 大 数据 与 小 数据 之 间 的 恨 性 互动 。 

用 小 数据 抵制 甚至 漠视 大 数据 时 代 的 到 来 ， 是 逆 漳 流 而 动 的 掩 耳 资 
铃 。 但 用 大 数据 时 代 来 否认 小 数据 的 价值 ， 是 对 大 数据 的 误 读 和 误解 。 
只 有 大 、 小 数据 融合 ， 才 能 够 真正 地 实现 用 数据 说 话 ， 用 数据 决策 ， 用 
数据 管理 ， 最 终 实 现 用 数据 创新 。 




















一 、 乔 能 无 处 不 在 


(一 ) 互联 网 时 代 


互联 网 是 网 络 与 网 络 之 间 所 串联 成 的 庞大 网 络 。 这 些 网 络 以 一 组 通 
用 的 协议 相连 ， 形 成 逻辑 上 的 单一 且 巨 大 的 全 球 化 网 络 ， 使 用 互联 网 可 
以 将 信息 瞬间 发 送 到 千里 之 外 的 人 手中 ， 它 是 信息 社会 的 基础 。 


互联 网 具有 强大 威力 ， 对 国家 经 济 、 企 业经 营 和 个 人 生活 方式 产生 
了 重大 影响 。 在 互联 网 1.0 时 代 ， 互 联网 是 企业 信息 网 状 化 生成 与 传播 
的 工具 ， 其 功能 是 提升 营销 和 生产 效率 。 而 近年 来 “互联 网 +? 理 念 不 断 
强调 实体 经 济 中 的 各 类 企业 需 充 分 利用 互联 网 而 提高 苋 争 力 ， 互 联网 来 
到 了 2.0 时 代 ， 互 联网 彻底 实现 了 产业 结构 的 去 中 心 化 、 经 济 活 动 的 泛 
数据 化 、 社 会 生活 的 物 联网 化 ， 它 已 经 不 再 单纯 是 企业 可 用 的 资源 ， 而 
成 为 企业 能 力 的 衍生 。 互 联网 2.0 为 企业 带 来 了 四 种 新 能 力 : WW 基 于 云 
计算 、 社 会 计算 、 大 数据 分 析 等 新 一 代 IT 而 产生 的 信息 取得 和 整合 能 
力 ; 企业 与 消费 者 直接 互动 而 产生 的 市 场 感知 能 力 ;，@@ 企 业 信 息 透 明 
化 、 企 业 间 联系 数字 化 而 产生 的 关系 整合 能 力 ， 外 通过 对 移动 互联 网 超 
大 体 量 数据 的 实时 处 理 与 运用 而 产生 的 超前 预测 能 力 ， 即 “大 数据 + 大 计 
算 二 大 了 商机 ”。 这 些 能 力 帮 助 企业 发 展 了 新 的 竞争 手段 且 更 为 多 样 化 。 


由 此 可 见 , 今天 的 互联 网 并 非 简 蛙 的 “信息 传递 工具 ”， 它 已 成 为 企 
业 颠 覆 传 统 价值 创造 方式 ， 改 变 竞 争 结 构 的 利器 : 以 互联 网 为 基础 的 新 
兴 企 业 颠 覆 了 强势 在 位 企业 的 市 场地 位 。 例 如 ， 蔷 果 公 司 凭借 互联 网 及 
App Store《〈 应 用 程序 商店 ) 击败 庞大 的 诡 基 亚 表 国 ， 小 米 在 缺乏 核心 技 
术 的 质疑 声 中 与 三 星 在 市 场 竞 争 中 不 相 上 下 ， 黑 每 、 东 过 等 行业 巨头 索 
然 倒 下 。 









































(二 ) 物 联 网 时 代 


福布斯 将 物 联 网 (Internet of Things，IoT) 描述 为 连接 任何 具有 开 
局 和 关闭 功能 的 设备 的 概念 。 物 联网 可 以 被 概括 地 摘 述 为 无 数 物体 、 动 
物 甚至 人 与 互联 网 实现 的 无 线 连接 ， 这 些 “ 节 点 ”可 以 在 没有 人 为 干预 的 
情况 下 发 送 或 接收 信息 ， 继 而 通过 远程 智能 设备 进行 远程 智能 作业 ， 极 
大 地 提高 了 人 类 生产 和 生活 的 效率 。 当 前 ， 物 联网 技术 已 经 在 智能 
网 、 智 能 交通 、 智 能 农业 、 环 境 污染 监测 等 领域 推广 应 用 。 物 联网 对 于 
更 多 的 被 动 活动 采集 潜在 价值 的 数据 需要 的 作用 是 显著 的 。 

举例 来 说 ， 一 位 女 顾客 在 超市 买 东西 时 拿 起 了 一 盒 奥 利 奥 饼干 ， 似 
乎 在 阅读 它 的 营养 成 分 ， 之 后 决定 不 购买 ， 然 后 把 它 放 回 架子 上 。 以 
往 ， 如 果 没 有 监控 设备 ， 就 不 太 可 能 采集 到 这 个 非 交 易 过 程 的 信息 。 而 











现在 ， 设 想 一 下 在 一 个 低 成 本 的 射频 识别 (Radio Frequency 
Identification，REFID) 标签 、 传 感 器 、 近 场 通信 (Near Field 


Communication，NFC) 和 其 他 强大 技术 无 处 不 在 的 物 联 网 世界 里 ， 这 
个 相同 的 场景 将 会 细 化 为 无 数 个 过 程 识 别 步 又 : 她 读 了 包装 上 的 哪 一 部 
分 呢 ? 是 不 是 她 比 别 人 更 认同 上 面具 体 的 图 片 或 文字 内 容 ? 当 她 看 到 含 
有 的 碳水 化 合 物 的 数量 时 ， 她 的 非 语言 表情 有 哪些 ?她 有 没有 看 其 他 类 
型 的 饼干 ? 她 看 了 多 和 久 ? 再 如 ， 想 象 “ 智 能 家 居 ” 设 备 ， 如 智能 锁 ， 当 它 
检测 到 你 的 手机 在 附近 时 ， 束 自动 解锁 :; 或 者 在 检测 到 有 人 在 移动 时 ， 
自动 开 灯 。 物 联网 技术 因为 这 些 数据 的 获取 变 得 更 加 智慧 和 巧妙 。 

但 是 ， 安 全 问题 也 日 益 凸 显 。2015 年 ， 乌 克 兰 西部 的 一 个 电网 就 遭 
到 了 来 自 物 联 网 网 络 的 攻击 人 破坏， 而 关于 无 人 构 驶 汽车 遭遇 黑客 的 研究 
也 一 直 在 引发 人 们 的 关注 。 未 来 几 年 ， 我 们 预测 监管 和 标准 化 将 发 挥 更 
大 作用 ， 物 联网 领域 的 安全 问题 可 能 有 新 动 回 和 突破 。 




















谷歌 公司 用 AlphaGo (人 工 智 能 围棋 程序 ) 大 胜 围棋 专业 九段 李 世 
石 、 柯 滞后， 人 工 智能 已 经 从 最 原始 的 计算 智能 ， 发 展 并 突破 了 感知 知 
能 阶段 ， 来 到 了 认 知 智能 层面 。 它 给 全 球 科技 巨头 带 来 的 震撼 正在 迅速 
蔓延 各 大 巨头 纷纷 公开 宣布 或 秘密 启动 人工 智能 + 成 略 ， 用 人 工 知 
能 改造 各 项 产品 和 服务 。 微 软 首席 执行 官 尽 带 亚 : 纳 德 拉 说 ， 继 键盘 、 
鼠标 、 触 措 屏 之 后 ， 能 理解 人 类 语言 、 实 现 人 机 互动 的 人 工 智能 自动 各 
序 ， 将 成 为 下 一 代 界 面 。 

人 工 智能 ， 是 指 能 够 模拟 人 类 智能 活动 的 智能 机 器 或 智能 系统 ， 研 
完 领域 涉及 非常 广泛 ， 从 数据 挖掘、 智能 识别 到 机 器 学 习 、 人 工 智 能 平 
台 等 〈 如 图 3-1 所 示 ) 。 从 工程 学 的 角度 来 看 ， 可 以 把 人 工 智 能 理解 
为 ， 可 以 从 环境 中 感知 信息 并 自主 活动 的 软件 和 硬件 实体 。 人 工 智能 必 
须 具备 以 下 几 个 功能 ，@@ 能 感知 环境 ，@@ 有 学 习 机 制 ， 加 具备 知识 库 : 
@ 有 决策 能 力 ， 即 通过 新 知识 学 习 和 知识 库 之 间 的 交互 来 进行 决策 ， 决 
策 包括 了 推理 、 预 测 、 规 划 等 行为 ， 所 以 决策 是 一 个 非常 复杂 的 过 程 
加 有 执行 器 ， 即 通过 行动 影响 环境 ，@ 有 评价 指标 ， 即 机 器 学 习 不 能 是 
随机 学 习 ， 必 须 有 一 个 方向 ， 这 种 方向 通过 评价 指标 实现 ， 它 们 的 专业 
名 称 叫 作 * 激 励 函 数 或 处 罚 函数 "， 机 器 就 是 通过 不 同 的 奖 秆 机 制 来 进行 
学 习 的 。 




















: 评价 : 
; 指标 : 


人 





图 3-1 简化 逻辑 下 的 人 工 智能 模型 


人 工 智 能 已 成 为 全 球 新 一 轮 科 技 革 命 和 产业 变 音 的 着 力 点 ， 是 一 片 
缠 藏 无 限 生 机 的 产业 新 蓝海 ， 我 们 预测 2020 年 将 迎 来 AI 的 爆发 ， 人 工 智 
能 将 在 卫生 保健 、 汽 车 、 金 融 服 务 、 运 输 和 物流 、 技 术 通 信 及 娱乐 、 零 
售 、 能 源 、 制 造 业 等 行业 均 有 不 同 程度 的 影响 力 。2017 年 ， 我 们 看 到 亚 
马 逊 的 Alexa 已 经 能 够 以 跟 人 对 话 的 方式 表现 人 工 智 能 ， 而 现在 ，Alexa 
己 经 进入 了 超过 五 百 万 个 家 性。 你 可 以 同 Alexa 询 问 天 气 ， 或 让 Ta 玫 你 
叫 车 等 。 这 意味 着 ，AI 已 经 进入 主流 用 户 的 实际 应 用 阶段 。 


未 来 ，5G 移 动 互 联网 将 以 全 新 的 网 络 速度 、 无 颖 的 网 络 ， 推 动 * 弱 
人 工 智 能 ”应 用 间 广 泛 连 接 ， 智 能 行为 志 布 整体 社会 环境 ， 实 现 真 正 意 
义 上 的 万 物 互联 ， 迈 向 “强人 工 智 能 "时代 。 人 工 智能 将 在 技术 上 更 迅猛 
地 发 展 ， 在 智能 语 首 、 智 能 图 像 、 自 然 语言 处 理 、 深 友 学 习 等 技术 上 越 
来 越 成 熟 ， 并 将 越 来 越 多 地 在 目 动 驾驶 、 特 殊 环 境 下 的 目 主 机 器 人 等 涉 
及 国家 或 行业 的 核心 需求 方面 得 到 应 用 ， 会 让 更 智能 化 的 半 目 主 或 自主 























系统 的 集群 能 力 不 断 得 到 提升 ， 成 为 国家 创新 创业 的 核心 驱动 力 。 


二 、 吞 能 产品 到 网 入 程序 


远程 操控 功能 ， 产 品 俩 癌 于 概念 操作 。 第 二 阶段 ， 是 超级 App 阶 段 ， 通 
过 智能 产品 与 终 病 艇 入 程序 相 结 合 实现 乔 芒 生活 。 超 级 App 是 一 个 开放 





能 家 抽 。 但 智能 产品 有 上 千 甚 至 上 万 个 品牌 ， 超 级 App 不 可 能 将 所 有 的 
智能 产品 都 关联 起 来 。 第 三 阶段 ， 是 语音 手势 控制 阶段 ， 如 鲁能 语音 
灯 、 手 势 及 语音 控制 的 乔 能 音 啊 ， 语 音 和 手势 控制 把 人 们 从 App 操 作 智 
能 产品 的 束缚 中 解放 出 来 ， 使 体验 进一步 优化 ， 如 Google Home、 
Amazon Echo 智能 家 居 设 备 耽 可 以 通过 语音 实现 控制 家 庭 设 备 。 








(一 ) 智能 家 后 


1997 年 ， 微 软 总 裁 比尔 : 盖 次 的 私人 育 宅 一 一 “未 来 之 家 ”经 过 七 年 
时 间 终 于 建成 。"“ 未 来 之 家 ?耗费 巨 资 ， 铺 设 了 52 英 里 《〈 约 为 84 公 里 ) 长 
的 电缆， 房 内 所 有 电器 设备 连接 成 一 个 绝对 标准 的 家 庭 网 络 ， 室 内 每 间 
房 都 使 用 触摸 感应 井 控 制 有 照明、 音乐 、 室 温 、 灯 光 等 。 


智能 家 居 (Smart Home) 是 以 住宅 为 平台 ， 兼 具 建 筑 设 备 、 网 络 通 
信 、 信 息 家 电 和 设备 自动 化 ， 集 系统 、 结 构 、 服 务 、 管 理 为 一 体 的 高 
效 、 安 人 全、 便利 、 环 保 的 居住 环境 。 智 能 家 居 是 计算 机 技术 、 网 络 技 
术 、 控 制 技术 回 传 统 家 居 渗 透 发 展 的 必然 结果 。 随 着 智能 家 居 技 术 的 成 
熟 、 物 联网 的 发 展 ， 更 加 自动 化 、 舒 适 化 、 安 全 化 、 节 能 化 的 家 居 生 活 
已 成 为 可 能 。 目 前 比较 流行 的 智能 家 居 系 统 的 结构 如 图 3-2 所 示 。 
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图 3-2 智能 家 居 系统 的 结构 


智能 家 大 需 求 与 趋势 的 不 断 升温 ， 不 只 改变 了 家 电 使 用 方式 ， 随 着 
人 们 对 健康 与 平安 越 来 越 重 视 ， 示 来 智能 家 大 将 逐渐 利用 影像 监控 结合 
感 测 与 网 络 技 术 ， 建 立 大 家 健康 监测 系统 ， 诸 如 视讯 医疗 、 远 距 照 护 、 
血压 管理 、 乔 能 型 服药 系统 等 。 智 能 家 居 将 会 变 得 更 加 智 意 。 清 晨 ， 主 
人 在 音乐 声 中 起 床 ， 豆 浆 机 、 面 包机 或 电饭煲 已 经 准备 好 早餐 ， 出 门 时 
局 动 离 家 模式 可 以 自动 关闭 各 种 电器 、 窗 户 ， 还 可 以 锁 门 ， 不 用 担心 孩 
子 是 否 会 偷 看 电视 ， 主 人 回 家 前 ， 发 个 短信 ， 空 调和 电 饭 化 开始 提前 工 
作 ， 冰 箱 将 根据 主人 的 消费 习惯 通过 网 络 癌 超市 订货 ， 提 前 预警 将 要 过 
期 食物 ， 睡 觉 时 空调 会 自动 感知 主人 温度 ,设置 最 舒适 温度 .…... 这 样 的 

















美好 生活 预期 很 快 便 能 实现 ， 智 能 家 居 的 春天 已 经 来 临 。 


(二 ) 智能 可 罕 戴 设备 


可 穿戴 设备 即 直 接 穿 在 映 上 ， 或 是 整合 到 用 户 的 衣服 或 配件 的 一 种 
便携 式 设备 。 智 能 可 穿戴 设备 是 融合 传 感 融 、 显 示 龙 、 无 线 等 功能 模 
块 ， 应 用 罕 戴 式 扩 术 进行 智能 化 、 集 成 化 、 便 携 化 设计 ， 研 发 而 成 的 可 
罕 戴 式 电 子 设备 的 总 称 。 


智能 可 罕 戴 设备 的 基本 工作 原理 是 利用 传感器 、 射 频 识 别 、 导 航 定 
位 等 信息 模块 ， 按 约定 的 协议 接 入 移动 互联 网 ， 实 现 人 与 物 在 任何 时 
间 、 任 何 地 点 的 连接 与 信息 交互 。 智 能 可 穷 戴 设备 将 会 对 我 们 的 生活 、 
感知 融 来 很 大 的 转弯。 可 罕 戴 设备 的 主流 产品 形态 包括 以 手腕 为 文 撑 的 
Watch 类 ， 如 Apple Watch、 三 星 Galaxy Gear， 各 类 智能 手 环 等 ， 以 脚 为 
文 撑 的 Shoes 类 ， 如 耐克 智能 运动 鞋 等 ， 以 头 部 为 文 撑 的 Glass 类 ， 如 从 
歌 眼镜 等 。 非 主流 产品 形态 包括 智能 服装 、 书 包 、 毛 杖 、 配 饰 等 。 智 能 
可 罕 戴 设备 的 主要 类 别 如 表 3-1 所 示 。 


表 3-1 智能 可 穿戴 设备 的 主要 类 别 




















类 别 产品 代表 数据 内 容 产品 功能 
| Jawbone Up、Misfit | 人 体 运 动 、 睡 眠 、 帮助 消费 者 调整 作息 
运动 健身 类 i . a , ee 

Shine、 三 星 Gear Fit 饮食 等 数据 规律 、 督 促 加 强 训 练 





丰富 、 简 化 信息 获取 


信息 资讯 类 | 谷歌 眼镜 、Apple Watch | 导航 、 生 活 信息 iba 
渠道 与 形式 





-< 





ge 台 语 仪 、 智 能 体温 计 、 ee ee 
< . ee 驳 * Dy 1 ~ 品 pr 一 小 3 = = 
生命 体征 采集 仪 等 Pre 下 














通过 数据 可 视 化 技术 ， 我 们 可 以 将 这 些 数据 以 二 维 或 三 维 的 形式 直 
观 地 呈现 出 来 ， 从 而 使 数据 更 容易 被 人 理解 ， 同 时 借助 数据 挖掘 扩 术 ， 
我 们 可 以 从 这 些 数 据 当 中 挖掘 出 真正 有 价值 的 信息 ， 并 将 这 些 信息 提供 
给 相关 决策 人 员 ， 进 而 使 这 些 数据 被 充分 地 利用 起 来 ， 使 这 些 数据 活 起 
来 。 其 中 涉及 可 罕 戴 设备 数据 的 采集 、 预 处 理 、 数 据 挖 掘 及 可 视 化 。 例 
如 ， 如 何 根据 己 有 的 数据 ， 去 预测 疾病 的 发 展 趋势 ， 可 能 需要 使 用 时 间 
序列 分 析 拉 术 进 行 分 析 ; 如 何 根据 用 户 的 生活 信息 ， 去 判断 茶 些 疾病 的 
产生 原因 或 诱 及 因 系 ， 可 能 需要 我 们 使 用 关联 规则 去 进行 分 析 。 














(三 ) 智能 推荐 系统 


亚马逊 的 创始 人 Bezo《〔〈 贝 佐 斯 ) 曾经 说 过 ， 他 的 梦想 是 “如 果 我 有 
100 万 个 用 户 ， 我 就 要 为 他 们 做 100 万 个 亚马逊 网 站 ”。 智 能 推荐 系统 承 
载 的 束 是 这 个 梦想 ， 即 通过 数据 挖掘 技术 ， 为 每 一 个 用 户 实 现 个 性 化 的 
推荐 结果 ， 让 每 个 用 户 更 便捷 地 获取 信息 。 在 今天 的 互联 网 应 用 中 ， 很 
多 搜索 结果 都 是 个 性 化 的 ， 以 亚马逊 为 代表 的 越 来 越 多 “聪明 ”的 推荐 系 
统 被 开发 出 来 ， 并 被 广大 用 户 信 赖 和 使 用 。 推 荐 系统 让 用 户 的 生活 更 容 
易 、 更 便利 ， 从 长 期 来 看 ， 用 户 因 此 会 购买 更 多 商品 ， 或 者 对 服务 的 满 
意 度 更 高 。 

Bezo 对 智能 推荐 系统 的 评价 是 : 我 想 我 们 能 做 的 就 是 利用 先进 技 
术 ， 例 如 ， 联 合 过 滤 〈 推 荐 系统 最 经 典 的 算法 ) 等 加 快 找 书 速度 。 打 个 
比方 ， 如 果 你 今天 走 进 一 家 书店 ， 发 现 一 本 让 你 心仪 的 书 的 可 能 性 是 
L/1000， 我 们 想 利 用 技术 来 了 解 你 本 人 ， 并 使 这 种 机 会 增加 到 1/300， 然 
后 是 V100，1/50， 等 等 。 这 将 为 人 们 创造 巨大 的 价值 。 再 伟大 的 两 人 也 
没有 机 会 逐个 地 了 解 他 们 的 顾客 ， 而 电子 商务 要 使 这 成 为 可 能 。Bezo 还 
曾 拿 推荐 系统 作为 武器 来 制衡 供应 商 : 亚马逊 在 和 大 型 出 版 商谈 判 的 时 
候 ， 束 会 使 用 他 们 的 推荐 系统 作为 杀手 钢 。 如 果 出 版 商 没 有 达到 他 们 的 
要 求 ， 亚 马 进 就 将 他 们 的 书 从 人 机 自动 化 推荐 系统 中 撤 下 ， 这 也 就 意味 














着 他 们 将 不 会 向 客户 推荐 这 本 书 。 最 开始 出 版 商 根本 不 知道 亚马逊 这 样 
做 会 有 什么 效果 ， 他 们 大 多 数 人 不 知道 他 们 的 销售 额 增长 是 因为 他 们 处 
于 显眼 的 推荐 位 置 。 亚 马 进 通过 这 种 方法 来 展示 其 强大 的 市 场 力量 。 如 
果 出 版 商 不 妥协 ， 亚 马 逊 就 会 关闭 推荐 其 书目 的 算法 ， 出 版 商 的 销售 售 
一 般 会 下 降 40%。 然 后 ， 通 常 30 天 左右 ， 出 版 商 就 会 回 过 头 来 说 ，" 忠 
网 ， 我 们 怎么 做 这 项 工作 ? ” 

智能 推荐 系统 是 一 个 系统 工程 ， 依 赖 数据 、 架 构 、 算 法 、 人 机 交互 
等 环节 的 有 机 结合 ， 形 成 合力 ， 其 中 有 许多 关键 点 需要 在 研究 中 密切 注 
意 。 开 发 推荐 系统 的 目标 ， 是 通过 个 性 化 数据 挖掘 技术 ， 将 “ 千 人 一 
面 " 变 为 " 千 人 千 面 *。 大 千 世 界 、 芙 芙 众 生 ， 原 本 就 是 多 姿 多 彩 的 ， 希 
望 智能 推荐 系统 能 让 这 个 世界 变 得 更 人 性 化 、 更 丰富 、 更 美好 。 














三 、 小 数据 与 人 工 知 能 





里 然 人 工 智能 具有 强大 的 威力 ， 但 其 友 挥 威力 也 是 有 一 定 条 件 的 : 
(没有 通用 的 AI， 也 没有 无 所 不 能 的 AI， 每 种 AI 必 须 有 其 适应 的 任务 环 
境 ， 比 如 ， 下 围棋 的 AlphaGo 不 可 能 马上 转型 做 股票 投资 ， 名 人 能 够 通 
过 某 种 方式 管理 和 控制 AI; (BAI 智 能 体 的 系统 模型 结构 有 标准 模型 ， 但 
其 实现 方式 过 异 ， 开 发 者 和 使 用 者 可 以 对 该 模型 进行 创造 性 的 设计 ;外 
人 工 智 能 以 “有 界 最 优化 ?为 理论 基础 ， 即 在 给 定时 间 和 计算 资源 条 件 
下 ， 寻 求 一 个 最 优 的 结 

小 数据 恰好 可 以 完美 地 适用 于 人 工 智能 的 上 述 特征 ， 打 造 多 样 化 、 
个 性 化 的 人 工 智能 系统 。 在 小 数据 的 支持 下 和 人 工 智 能 模型 的 系统 学 习 
后 ， 人 工 智 能 可 以 更 好 地 服务 于 个 体 的 生产 生活 。 比 如 ， 在 出 行 方面 ， 
人 工 智 能 的 加 入 可 以 实现 人 和 和 车 的 进一步 互动 ， 行 车 数据 智能 系统 可 以 
通过 监测 车 辆 运行 的 各 项 指标 以 及 周围 地 面 、 空 气 环 境 等 对 于 车 况 进行 
细致 分 析 并 及 时 反馈 给 车 主 ， 降 低 车 主 发 生意 外 的 概率 ; 在 居家 方面 ， 
人 工 智能 管家 的 加 入 可 以 完成 识别 访客 、 控 制 照 明 、 制 作 吐 司 、 播 放 音 
乐 、 给 孩子 讲 故事 等 事务 ， 使 人 不 再 为 琐事 所 环线; 在 办 公 方 面 ， 人 工 
智能 助理 的 加 入 可 以 轻松 辅助 用 户 完 成 琐碎 的 工作 事项 ;在 科学 研究 方 
面 ， 人 工 知 能 教授 的 加 入 可 以 融合 不 同学 科 的 知识 库 ， 帮 助 科研 工作 者 
进行 学 术 创 新 。 总 之 ， 小 数据 与 人 工 智 能 的 结合 是 一 个 双向 促进 、 持 续 
成 长 的 漫长 而 有 趣 的 过 程 。 我 们 在 赞叹 人 工 智能 飞速 发 展 的 同时 ， 更 加 
对 人 类 搭建 智能 体系 的 高 超 本 领 与 宏大 格局 惊叹 不 已 ! 























四 、 小 数据 与 贸 能 产品 


小 数据 依托 智能 产品 到 底 能 做 什么 ”换个 方式 来 解释 吧 ， 随 着 智能 
产品 越 来 越 智 能 ， 小 数据 首先 能 够 帮助 智能 产品 完善 自身 的 数据 展示 方 
式 ， 再 者 能 够 帮助 智能 产品 越 来 越 有 个 性 ， 使 智能 产品 越 来 越 具有 个 人 
标签 色彩 ! 对 于 使 用 者 来 说 ， 在 私密 空间 如 家 中 ， 需 要 无 与 伦比 的 舒适 
感 和 安心 感 ， 在 公共 空间 如 校园 里 、 医 院 里 、 公 司 里 ， 需 要 的 更 多 是 一 
种 无 处 不 在 的 信任 感 和 归属 感 。 小 数据 通过 不 断 的 学 习 ， 逐 渐 地 复杂 
化 ， 从 处 理 单一 自然 人 的 个 体 发 展 为 处 理 一 间 教 室 的 多 个 自然 人 组 成 的 
个 体 集合 ， 再 发 展 为 处 理 一 个 科室 的 病人 组 成 的 复杂 个 体 集 合 ...... 智 能 
产品 提供 媒介 ， 小 数据 提供 信息 ， 这 对 越 来 越 优秀 的 搭档 在 智能 家 居 、 
智 惹 校 园 、 智 慧 医 院 、 智 惹 城 市 的 组 建 中 散发 目 身 的 魅力 ， 完 美的 生活 
一 触 即 达 。 

企业 资源 计划 系统 〈Enterprise Resource Planning，ERP) 是 指 以 系 
统 化 的 管理 思想 为 企业 决策 层 及 员工 提供 决策 运行 手段 的 管理 平台 。 
ERP 系 统 的 应 用 范围 从 制造 业 扩 展 到 了 和 零售 业 、 服 务 业 、 银 行业 、 电 信 
业 、 政 府 机 关 和 学 校 等 事业 部 门 。 不 同 于 商业 智能 体系 〈Business 
Intelligence，BI) 采购 成 本 较 高 、 数 据 体 量 庞大 、 服 务 啊 应 周期 长 等 应 
用 困难 ， 依 托 ERP 系 统 可 以 建立 合理 、 高 效 的 生产 计划 编制 体系 、 消 灭 
信息 孤 咏 、 实 现 企业 内 部 的 数据 共享 。 但 是 ERP 系 统 所 分 析 人 处 理 的 只 是 
数据 浅 层 次 的 语义 ， 其 对 具体 业务 操作 的 指导 性 较 强 ， 但 对 于 决策 者 来 
说 ， 系 统 应 用 起 来 较为 困难 ， 结 果 不 够 直观 。ERP 系 统 对 企业 整体 运营 
情况 的 系统 整理 和 控制 是 不 可 或 缺 的 ， 但 其 唯 有 与 小 数据 技术 相 融 合 ， 
才能 更 好 地 构建 并 不 断 修 缮 企业 内 部 的 商业 智能 化 体系 〈 如 图 3-3 所 
示 ) 。 只 有 利用 这 样 的 系统 ， 才 能 将 ERP 系 统 最 终 深 化 、 升 华 到 企业 决 


























策 层 面 的 战略 思想 。 
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图 3-3 基于 小 数据 思想 的 商业 智能 化 系统 


五 、 小 数据 与 虚拟 现实 


虚拟 现实 技术 (Virtual Reality，VR) 是 一 种 可 以 创建 和 体验 虚拟 
世界 的 计算 机 仿真 系统 ， 它 利用 计算 机 生成 还 真 的 三 维 视觉 、 听 沉 、 触 
党 的 感 观 世 界 ， 使 人 们 对 所 研究 的 对 象 和 环境 获得 号 临 其 境 的 感受 。 
VR 是 一 种 多 源 信息 融合 的 、 交 互 式 的 三 维 动态 视 景 和 实体 行为 的 系统 
仿真 。 

VR 技术 的 核心 内 容 是 虚拟 环境 的 建立 ， 需 利用 获取 的 三 维 数据 建 
并 相应 的 虚拟 环境 模型 。 将 小 数据 运用 到 VR 建 模 的 过 程 中 ， 可 以 极 大 
程度 地 还 原 和 丰富 VR 场景 的 真实 度 ， 提 升 VR 在 数据 终端 展示 的 强大 威 
力 ， 特 别 是 在 VR 外 设 逐 渐 走 进入 们 视野 之 际 ， 小 数据 的 精准 性 可 以 为 
VR 建 模 提 供 最 为 全 面 、 必 要 的 数据 。 例 如 ， 将 VR 技术 应 用 在 数字 化 校 
园 的 建设 当中 ， 就 需要 对 校园 中 的 地 形 、 地 貌 、 地 物 和 自然 景观 等 进行 
三 维 模拟 仿真 ， 力 图 建立 动态 的 立体 式 虚 拟 校 园 ， 在 计算 机 中 还 原 真 实 
的 校园 原貌 。 此 外 ， 小 数据 和 VR 拉 术 都 是 一 种 在 实时 演变 、 进 化 的 数 
据 运动 过 程 ， 两 种 系统 的 动态 发 展 范式 可 以 相互 借鉴 。 例 如 ， 据 
Futurism 报 道 ，2030 年 时 ，VR 有 望 能 经 过 设备 直接 与 人 类 思维 相连 ， 而 
VR 技术 如 何 实 现 获取 人 类 大 脑 信号 的 数据 ， 小 数据 又 如 何 测 度 VR 技术 
对 人 关 情 绪 的 影响 呢 ? 实际 上 ， 这 征 两 种 技术 之 间 的 互动 和 理解 。 如 果 
小 数据 和 VR 能 够 更 好 地 融合 起 来 ， 无 疑 具有 巨大 的 科技 前 景 。 



































六 、 小 数据 与 增强 现实 


增强 现实 技术 ‘Augmented Reality，AR) 将 真实 的 信息 与 虚拟 世界 
的 信息 同时 显示 出 来 。 这 两 种 信息 相互 补充 、 著 加， 在 显示 器 里 把 虚拟 
世界 堆 登 在 现实 世界 中 ， 并 实时 地 计算 摄影 机 影像 的 位 置 及 角度 ， 使 虚 
拟 影像 与 真实 世界 完全 匹配 并 且 实 时 互动 。 增 强 现 实 技术 在 各 个 领域 中 
都 有 很 多 发 展 和 应 用 ， 并 且 在 小 数据 领域 的 发 展 前 景 似乎 更 加 广阔。 比 
如 ， 在 军事 上 ， 采 用 AR 技术 ， 将 相关 数据 及 导航 信息 登 加 到 飞行 头 摆 
中 制订 更 精准 的 作战 计划 ; 在 医疗 上 ， 通 过 移动 终端 ， 将 CT 扫描 结果 
车 加 到 人 体 不 同 部 位 ， 方 便 医生 在 手术 中 随时 观测 患者 病情 在 营销 方 
面 ， 利 用 AR 技术 实现 方案 效果 的 模拟 ; 在 教育 方面 ， 利 用 AR 技术 使 三 
维 模型 与 教科 书籍 等 相 结 合 ， 利 用 移动 终端 ， 实 现 沉浸 式 教学 ， 提 高 教 
学 质量 ;在 娱乐 方面 ， 很 多 公司 开 有 了 AR 游戏 ， 让 玩家 在 现实 环境 中 
与 虚拟 的 人 物 互 动 等 。 未 来 ，AR 技 术 可 以 与 小 数据 更 好 地 融合 ， 为 个 
体 展 现 更 加 直观 的 可 视 化 数据 ， 实 现 更 加 逼真 的 场景 模拟 ， 在 个 性 化 时 
代 大 有 作为 。 























一 、 小 数据 的 锡 辑 


(一 ) 参数 估计 和 假设 检验 : 小 样本 的 描述 分 析 


参数 估计 (Parameter Estimation〉 是 指 用 样本 的 统计 量 去 估计 总 体 
参数 的 方法 ， 包 括 点 估计 和 区 间 估 计 。 


点 估计 (Point Estimation) 是 指 用 抽样 得 到 的 样本 统计 指标 作为 总 
体 某 个 未 知 参数 特征 值 的 估计 ， 是 一 种 统计 推断 方法 。 一 般 对 总 体 参 数 
的 估计 包括 两 类 : 一 种 是 用 样本 均值 去 估计 总 体 均值 ， 男 一 种 是 用 样本 
概率 去 估计 总 体 概率 。 同 时 我 们 会 计算 样本 的 标准 差 来 说 明 样 本 均值 或 
者 概率 的 波动 幅度 的 大 小 ， 从 而 估计 总 体 数据 的 波动 情况 。 点 估计 还 包 
括 了 使 用 最 小 二 乘法 对 线性 回归 做 曲线 参数 的 拟 合 ， 以 及 用 最 大 似 然 佑 
计 法 计算 样本 集 分 布 的 概率 密度 函数 的 参数 。 

区 间 估 计 (Interval Estimation) 是 指 依据 抽取 的 样本 ， 根 据 一 定 的 
正确 上 度 与 精确 度 的 要 求 ， 估 算 总 体 的 未 知 参数 可 能 的 取 值 区 间 。 区 间 估 
计 一 般 是 在 一 个 既定 的 置信 水 平 下 计算 得 到 总 体 均 值 或 者 总 体 概率 的 置 
信 区 间 (Confidence Interval) ， 一 般 会 根据 样本 的 个 数 和 标准 差 估 算得 
到 总 体 的 标准 误差 ， 根 据点 估计 中 用 样本 均值 或 样本 概率 估计 总 体 均值 
或 总 体 概率 ， 进 而 得 出 一 个 取 值 的 上 下 临界 点 。 

我 们 可 以 将 样本 标准 差 记 作 S5， 如 果 我 们 抽样 获取 的 有 n 个 样本 ， 那 
么 总 体 的 标准 差 o 就 可 以 用 样本 标准 差 估 算得 到 : 
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从 这 个 公式 中 我 们 可 以 看 到 大 数 定 律 的 作用 ， 当 样本 个 数 n 越 大 
时 ， 总 体 指标 差 a 越 小 ， 样 本 估计 值 越 接 近 总 体 的 真实 值 。 有 了 总 体 的 
标准 兰 c， 我 们 束 可 以 使 用 区 间 估 计 的 方法 计算 总 体 参数 在 一 定 置 信 水 
平 下 的 置信 区 间 ， 置 信 区 间 给 出 了 一 个 总 体 参 数 的 真实 值 在 一 定 的 概率 
下 会 落 在 怎么 样 的 取 值 区 间 ， 而 总 体 参数 落 在 这 个 区 间 的 可 信 程 度 的 概 
率 就 是 置信 水 平 〈Confidence Level) ， 在 统计 学 中 一 般 认 为 95% 的 置信 
度 的 结果 具有 统计 学 意义 ， 实 际 应 用 中 还 需要 考虑 具体 分 析 目 标 确定 置 
信 度 水 平 。 另 外 ， 当 抽取 的 样本 数量 足够 大 时 《一 般 n>30) ， 根 据 “ 中 
心 极限 定理 ”， 我 们 可 以 认为 样本 均值 近似 地 服从 正 态 分 布 。 


假设 检验 是 推断 统计 的 男 一 项 重要 内 容 ， 它 与 参数 估计 类 似 ， 但 角 
度 不 同 。 参 数 估计 利用 样本 信息 来 推 师 未 知 的 总 体 参 数 ， 而 假设 检验 则 
先 对 总 体 参数 提出 一 个 假设 ， 然 后 利用 样本 信息 来 判断 这 一 假设 是 否 成 
立 。 比 如 ， 在 产品 合格 率 测 算 问 题 中 ， 参 数 佑 计 回 答 的 是 合格 率 所 处 的 
数值 范围 ， 而 假设 检验 是 次 这 个 参数 有 多 大 概率 是 在 我 们 所 佑 计 的 这 个 
范围 里 面 ， 这 两 个 步 又 相互 联系 ， 没 有 假设 检验 的 参数 估计 是 不 完整 
的 。 














(二 ) 贝 叶 斯 推理 : 小 样本 的 经 验 判断 


贝 叶 斯 推理 (Bayesian Inference) 是 由 英国 牧师 贝 叶 斯 发 现 的 一 种 
归纳 推理 方法 ， 后 来 的 许多 研究 者 对 贝 叶 斯 方法 在 观点 、 方 法 和 理论 上 
不 断 地 进行 完善 ， 最 终 形成 了 一 种 有 影响 的 统计 学 派 。 贝 叶 斯 推理 是 在 
经 典 的 统计 归纳 推理 一 一 参数 估计 和 假设 检验 的 基础 上 发 展 起 来 的 一 种 
新 的 推理 方法 。 与 经 典 的 统计 归纳 推理 方法 相 比 ， 贝 叶 斯 推理 在 得 出 结 
论 时 不 仅 要 根据 当前 所 观察 到 的 样本 信息 ， 而 且 还 要 根据 推理 者 过 去 有 
关 的 经 验 和 知识 。 比 如 ， 一 个 朋友 开 咖 啡 厅 创 业 ， 创 业 的 结果 无 非 是 两 
种 ， 要 么 成 功 要 么 失败 ， 但 你 可 能 对 这 个 朋友 创业 成 功 充满 信心 ， 因 为 
你 对 他 的 为 人 有 一 定 的 了 解 ， 他 学 习 过 如 何 甄选 咖啡 豆 并 且 认 识 许多 卖 























咖啡 豆 的 行家 ， 他 会 研磨 咖啡 ， 他 认识 许多 喜欢 喝 咖 啡 的 有 钱 人 ， 他 善 
于 交际 ， 他 家 境 殷实 .……… 因 此 你 可 能 会 不 由 自主 地 估计 他 创业 成 功 的 概 
率 可 能 在 90% 左 右 。 这 种 不 同 于 最 开始 的 非 黑 即 白 的 思考 方式 ， 便 是 贝 
叶 斯 式 的 思维 脉络 。 

贝 叶 斯 推理 是 从 概率 论 中 的 贝 叶 斯 定理 扩充 而 来 。 通 常 ， 事 件 A 在 
事件 B 发 生 的 条 件 下 的 概率 ， 与 事件 B 在 事件 A 发 生 的 条 件 下 的 概率 是 不 
一 样 的 ， 然 而 ， 这 两 者 是 有 确定 关系 的 ， 贝 叶 斯 定理 就 是 这 种 关系 的 陈 
述 。 贝 叶 斯 定理 断定 : 己 知 一 个 事件 集 B; (i=1,2,...,k) 中 每 一 Bi 的 概率 
P (Bi) ， 又 知 在 Bi 已 发 生 的 条 件 下 事件 A 的 条 件 概 率 P (AlBi) ， 就 可 
得 出 在 给 定 A 已 发 生 的 条 件 下 任何 Bi 的 条 件 概率 〈 逆 概率 ) P (BilA) 。 
贝 叶 斯 定理 其 实 就 是 已 知 第 二 阶段 反 推 第 一 阶段 ， 这 时 候 关 键 是 利用 条 
件 概 率 公式 做 个 辊 坤 大 挪移 ， 即 :; 

















P(B.)P(AIB,) 
P(B,)P(AIB,)+P(B,)P(A/B,)+.…+P(B,)P(AIB,) 


贝 叶 斯 定理 通过 求 逆 概率 来 透 过 现象 考 罕 事物 本 质 ， 即 展现 了 一 种 
逻辑 推理 方法 在 观察 到 的 线索 下 推 类 出 发 生 的 茶 种 情况 。 

贝 叶 斯 推理 是 一 种 正式 的 推理 系统 ， 它 反映 了 你 在 日 常生 活 中 所 做 
的 事情 : 使 用 新 的 信息 来 更 新 你 对 一 个 事件 发 生 概率 的 预测 。 比 如 ， 一 
个 汽车 4S 店 的 销售 人 员 必 须 决 定 要 人 花 多 少时 间 在 “顺路 进来 看 ”的 消费 者 
身上 。 销 售 人 员 从 经 验 中 忌 结 出 ， 这 些 消费 者 中 只 有 很 小 的 比例 会 买 
车 ,但 是 他 也 知道 ， 如 果 这 些 人 目前 拥有 的 汽车 品牌 正好 是 经 销 商 有 的 
品牌 ， 则 购买 的 可 能 性 会 明显 增加 。 利 用 贝 叶 斯 推理 ， 销 售 人 员 会 询问 
每 个 “顺路 进来 看 ”的 消费 者 目前 开 什 么 品牌 的 车 ， 然 后 利用 这 些 信息 来 
相应 地 定位 客户 。 





P(B.14)= 


























(三 ) 目 助 法 : 小 样本 的 试验 评估 


Bootstrapping 从 字面 意思 解释 是 拔 靴 法 ， 但 从 其 内 容 实 质 上 来 说 ， 
Bootstrapping 翻 译 为 自助 法 是 更 加 恰当 的 。 自 助 法 的 名 称 来 源 于 英文 短 
语 “to pull oneself up by one’s bootstrap”， 表示 完成 一 件 不 能 自然 完成 的 
事情 。Bootstrapping 的 思想 是 “再 抽样 ?>， 实 质 是 非 参数 统计 中 一 种 重要 
的 估计 统计 量 方 差 进而 进行 区 间 估 计 的 统计 方法 。1977 年 ， 美 国 斯 坦 福 
大 学 统计 学 教授 Efron 提 出 了 一 种 新 的 增 广 样本 的 统计 方法 ， 了 就 是 
Bootstrapping 方 法 ， 为 解决 小 样本 试验 评估 问题 提供 了 很 好 的 思路 。 


统计 学 中 ，Bootstrapping 指 依赖 于 重复 随机 抽样 的 一 切 试验 ， 它 不 
斯 地 从 真实 数据 中 进行 抽样 ， 以 蔡 代 先前 生成 的 样本 。 假 设 抽取 的 样本 
量 大 小 为 n: 在 原样 本 中 有 放 回 的 抽样 ， 抽 取 n 次 。 每 抽 一 次 形成 一 个 新 
的 样本 ， 重 复 操 作 ， 形 成 很 多 新 样本 ， 通 过 这 些 样 本 就 可 以 计算 出 样本 
的 一 个 分 布 。 新 样本 的 数量 通常 是 1000~10000。 如 果 计 算 成 本 很 小 ， 或 
者 对 精度 要 求 比 较 高 ， 束 增加 新 样本 的 数量 ， 数 量 越 大 结果 越 精 确 。 如 
果 对 于 一 个 样本 采样 ， 我 们 只 能 计算 出 某 个 统计 量 〈( 如 均值 ) 的 一 个 取 
值 ， 无 法 知道 知 干 个 可 能 的 均值 统计 量 的 分 布 情况 。 但 是 通过 
Bootstrapping 我 们 可 以 模拟 出 均值 统计 量 的 近似 分 布 ， 也 束 是 说 
Bootstrapping 可 以 用 于 计算 样本 估计 的 准确 性 。 


与 贝 叶 斯 推理 方法 相 比 ，Bootstrapping 的 优点 在 于 : 无 须 对 分 布 
特性 做 严格 的 假定 进行 分 析 ， 因 为 它 使 用 的 分 布 就 是 真实 数据 的 分 布 ; 
@) 简 单 易 于 操作 。 缺 点 在 于 Bootstrapping 的 运用 基于 很 多 统计 学 假设 ， 
因此 假设 的 成 立 与 否 会 影响 采样 的 准确 性 。 





四) 回归 分 析 : 小 样本 的 趋势 判断 





一 个 数学 模型 是 一 种 描述 两 个 或 者 多 个 变量 值 之 间 关 系 的 表达 。 丙 
业 中 会 在 很 多 方面 使 用 模型 一 一 定价 是 一 个 季 见 的 例子 。 如 果 将 定价 表 
示 为 一 个 数学 模型 ， 人 们 可 以 为 销售 设备 、 在 线 报价 系统 ， 以 及 其 他 有 
用 的 应 用 程序 建立 起 这 个 模型 公式 。 


(1) 线性 模型 和 线性 回归 


线性 模型 是 一 个 数学 模型 ， 其 中 自 变量 和 因 变 量 的 关系 对 于 自 变 量 
的 所 有 值 来 说 是 恒定 的 ， 也 就 是 说 函数 关系 是 确定 的 。 一 个 线性 模型 可 
能 会 包括 常量 。 假 设 商品 单价 为 20 元 ， 定 价 还 包括 100 元 的 运输 费用 和 
保险 费用 ， 那 么 定价 模型 就 是 y=100+20x， 其 中 y 为 总 价 ，x 为 商品 数 
量 。 从 定价 实例 中 归纳 ， 线 性 模型 可 以 表达 为 y=b+a1x1+a2x2+..….+anxn 
的 形式 ， 其 中 y 是 因 变 量 ，x1 到 xn 是 自 变量 ，b 和 系数 a1 到 an 为 线性 模型 
中 的 参数 。 线 性 模型 是 一 种 易于 解释 和 部 署 的 数学 模型 ， 它 的 确定 是 建 
立 在 经 过 很 多 理论 研究 和 实际 调研 的 基础 之 上 的 。 如 果 我 们 想 要 利用 线 
性 模型 来 预测 如 股价 、 信 用 卡 用 户 还 款 等 复杂 行为 和 未 知事 物 ， 那 么 就 
需要 估计 模型 中 的 各 项 参数 值 。 基 于 对 历史 数据 进行 统计 分 析 的 线性 回 
归 方 法 是 估计 模型 参数 的 有 效 方法 。 

线性 回归 对 一 段 时 间 的 历史 数据 进行 分 析 和 计算 ， 使 线性 模型 能 
够 "最 好 "地 匹配 数据 的 参数 。 线 性 回归 方法 通过 最 小 二 乘 准则 选择 一 个 
最 优 的 模型 ， 最 大 限度 地 减少 预测 值 和 实际 值 之 间 的 平方 误差 

线性 回 归 是 一 种 功能 强大 、 应 用 广泛 且 较 为 简单 的 方法 ， 因 此 线性 
回归 模型 在 很 多 领域 中 都 是 一 种 常见 的 方法 。 回 归 分 析 中 ， 只 包括 一 个 
自 变 量 和 一 个 因 变量 ， 且 两 者 的 关系 可 用 一 条 直线 近似 表示 ， 这 种 回归 
分 析 称 为 一 元 线性 回归 分 析 。 如 果 回归 分 析 中 包括 两 个 或 两 个 以 上 的 自 
变量 ， 且 因 变 量 和 自 变 量 之 间 是 线性 关系 ， 则 称 为 多 元 线性 回归 分 析 。 
理论 上 讲 ， 非 线性 的 关系 可 以 通过 函数 变换 线性 化 ， 比 如 : y=a+blnx; 
令 =Inx， 方 程 就 线性 化 成 了 y=atbt， 因 此 线性 回归 处 理 数据 的 手段 比较 
灵活 。 

为 了 检验 模型 匹配 数据 的 程度 ， 线 性 回归 中 经 常用 到 判别 系数 或 者 
R2 作 为 关键 的 统计 指标 。 从 理论 上 讲 ， 这 个 统计 指标 测量 的 是 能 被 模型 
所 解释 的 因 变 量 的 变化 在 因 变 量 总 体 变化 中 的 比例 。 如 果 R2 很 小 ， 则 线 
性 模型 需要 进行 改进 。 此 外 ， 线 性 回归 分 析 还 需要 对 模型 的 系数 进行 显 












































车 性 检验 ， 如 果菜 个 系数 不 能 通过 显著 性 检验 ， 则 说 明 这 个 系数 相关 的 
预测 因子 对 模型 没有 意义 ， 需 要 改进 。 


线性 回归 的 主要 缺陷 是 限制 条 件 较 多 。 衣 先 ， 线 性 回归 分 析 需 要 因 
变量 是 连续 型 变量 ， 在 数据 缺失 的 时 候 需要 运用 其 他 方法 解决 问题 ;其 
次 ， 由 于 假设 条 件 比 较 多 ， 许 多 实际 生活 中 的 现象 无 法 用 线性 关系 来 表 
现 和 展示 ， 线 性 回归 的 实用 价值 难以 发 挥 出 来 ; 最后， 线性 回归 分 析 并 
不 知道 真实 的 理论 模型 ， 它 默认 所 使 用 的 线性 模型 能 够 合理 代表 所 研究 
对 象 的 行为 ， 在 此 基础 上 进行 参数 估计 ， 可 能 会 曲解 事件 的 真相 ， 最 终 
展示 出 欺 驴 性 回归 的 虚假 关系 。 








(2) 广义 线性 模型 


我 们 前 面 所 提 到 的 线性 模型 是 标准 的 ， 其 假设 因 变 量 是 连续 的 ， 且 
是 正 态 分 布 的 。 然 而 在 很 多 实际 情况 中 ， 这 个 假设 是 不 合适 的 ， 所 以 一 
个 线性 模型 可 能 是 不 可 靠 的 。 我 们 用 一 个 例子 来 说 明 这 个 问题 。 


例如 ， 假 设 我 们 想 要 建立 一 名 学 生 的 英语 成 绩 会 随 他 所 掌握 的 单词 
量变 化 的 模型 。 一 个 相对 标准 化 的 线性 模型 可 能 会 告诉 我 们 单词 量 每 提 
升 100， 这 个 人 的 英语 水 平 能 够 提高 10 分 。 但 是 在 实际 应 用 这 个 预测 模 
型 时 ， 我 们 可 能 会 发 现 这 个 模型 显著 高 估 了 那些 单词 量 已 经 达到 10000 
的 学 生 的 英语 成 绩 提高 值 ， 而 明显 低估 了 那些 单词 量 只 有 500 的 学 生 的 
英语 成 绩 提 高 值 。 

这 个 例子 告诉 我 们 ， 一 个 标准 化 的 预测 模型 的 针对 性 比较 差 ， 在 很 
多 场合 中 以 绝对 值 表现 出 来 的 数量 关系 并 不 适合 用 以 解决 具体 问题 。 有 
鉴于 此 ， 学 者 和 研究 人 员 加 强 了 对 线性 模型 误差 原因 的 分 析 ， 引 入 了 英 
语 成 绩 变化 百分比 来 改进 原 有 的 线性 模型 。 换 句 话 说 ， 通 过 比值 的 方法 
将 该 模型 从 线性 模型 改变 为 指数 或 对 数 性 模型 ， 这 突出 展现 了 数据 变化 
的 相对 关系 ， 对 于 状态 变化 的 影响 的 测度 更 为 合理 。 因 此 ， 线 性 模型 的 
外 延 得 到 了 扩展 。 














正如 我 们 所 说 的 ， 标 准 线性 模型 需要 一 个 正 态 分 布 的 因 变 量 ， 而 广 
义 线性 模型 则 只 需要 因 变 量 属 于 指数 分 布 族 的 一 员 ， 指 数 分 布 族 包括 伯 
努 利 、b、 卡 方 、 指 数 、 个 马 、 正 态 、 泪 松 等 分 布 。 广 义 线 性 模型 在 处 
理 多 种 不 同 分 布 时 更 有 效 ， 并 且 ， 广 义 线性 模型 在 引入 一 个 非 线性 连接 
函数 后 ， 放 宽 了 因 变 量 和 目 变 量 之 间 的 线性 关系 要 求 ， 而 仅 要 求 在 通过 
连接 函数 转化 后 呈现 线性 关系 。 


























(3) 广义 相 加 模型 


广义 相 加 模型 是 一 种 非 参 数 回归 。 线 性 回归 这 种 技术 是 参数 化 的 ， 
意味 着 它们 关于 数据 的 一 些 特定 假设 ， 如 采 为 满足 模型 假设 ， 在 错误 的 
前 提 下 进行 分 析 ， 结 果 可 能 是 一 个 劣质 或 虚假 的 模型 。 非 参数 回归 就 是 
为 了 将 模型 从 线性 的 假设 条 件 中 解放 出 来 ， 用 非 参 数 的 方法 来 探索 线性 
回归 分 析 不 可 及 的 部 分 。 

相 加 模型 可 以 用 y=b+a1x1+a2x2+...+anxn 来 表示 ， 但 其 自 变 量 的 形 
式 还 是 比较 丰富 多 变 的 。 在 相 加 模型 中 ， 可 以 用 更 复杂 的 函数 来 奉 代 线 
性 方程 中 的 简单 项 。 比 如 ， 部 分 或 全 部 的 自 变 量 采 用 平滑 函数 来 降低 线 
性 设 定 带 来 的 模型 风险 ， 在 广义 相 加 模型 中 ， 因 变量 同样 可 以 采取 指数 
分 布 系列 中 的 任何 一 种 形式 。 

广义 相 加 模型 的 主要 优势 是 当 潜 在 自 变量 数量 比较 大 时 ， 能 够 对 复 
杂 的 非 线性 关系 进行 建 模 。 比 如 它 能 够 解决 Logistic 回 归 中 ， 当 解释 变 
量 个 数 较 多 时 引起 的 维度 灾难 。 广 义 相 加 模型 的 主要 缺陷 是 计算 过 程 和 
方法 非常 复杂 ， 而 且 像 其 他 非 参 数 方法 一 样 ， 广 义 相 加 模型 有 很 高 的 过 
度 拟 合 性 质 ， 模 型 泛 化 的 能 力 较 弱 。 广 义 相 加 模型 同样 在 医学 研究 、 生 
态 环境 保护 等 领域 有 很 多 的 应 用 方法 和 实例 。 












































(4) Logistic 回 归 


在 具体 问题 的 研究 中 ， 线 性 回归 的 确 能 够 解决 很 多 问题 ， 但 由 于 回 
归 上 所 用 的 一 般 是 连续 型 模型 ， 而 且 受 噪声 影响 比较 大 ， 所 以 对 某 一 个 特 
定 的 问题 ， 线 性 回归 并 不 是 最 优 的 解决 方案 。 比 如 ， 在 认识 、 理 解 分 类 
行为 方面 ，Logistic 回 归 分 析 方 法 可 能 会 产生 更 令 人 满意 的 结果 。 
Logistic 回 归 分 析 是 为 了 对 一 个 分 类 变量 和 一 个 或 多 个 因 变 量 之 间 的 关 
系 进行 更 明确 的 建 模 。 

Logistic 回 归 实 际 上 是 广义 线性 回归 的 一 种 表现 方式 ， 其 与 线性 回 
归 的 模型 形式 基本 相同 ， 如 y=b+ajx1+a2X2+...+anxn。 但 它们 因 变 量 不 
同 ， 多 元 线性 回归 直接 将 btalx1+a2X2+...+anxn 的 值 作为 因 变 量 ， 而 
Logistic 回 归 在 线性 回归 的 基础 上 ， 套 用 了 一 个 函数 L 将 btalx1+a2X2+.… 
+anXn 对 应 为 一 个 状态 p，p=L 《b+alX1+a2X2+...+anxn) ， 然 后 根据 p 与 
1-p 的 大 小 决定 因 变 量 的 值 。 如 果 工 是 Logistic 函 数 ， 就 是 Logistic 回 归 ; 
如 果 IL 是 多 项 式 函 数 ， 就 是 多 项 式 回 归 。 


Logistic 回 归 中 最 为 核心 的 各 环节 是 : (W 首 先 计算 事件 的 发 生 比 ， 
即 发 生 概 率 p 与 没有 发 生 的 概率 1-p。 包 对 事件 发 生 比 取 对 数 。 事 件 的 发 
生 比 是 一 个 缓冲 ， 可 以 将 因 变 量 的 取 值 范围 扩大 ， 再 通过 对 数 变换 改变 
整个 因 变 量 。 大 量 的 实践 表明 ， 经 过 这 两 步 的 变换 ， 因 变量 和 自 变量 之 
间 呈 现 线性 关系 。@@ 最 大 似 然 估计 法 求 Logistic 回 归 模 型 的 参数 。 在 这 
一 步 骆 中 ， 通 过 构造 损失 函数 、 似 然 函数 、 取 似 然 函 数 并 求 似 然 函 数 极 
大 值 来 进行 求解 。Logistic 回 归 从 根本 上 解决 了 因 变 量 为 非 连续 变量 的 
情形 。 

Logistic 回 归 用 以 解决 三 种 分 类 方面 的 问题 。 岂 二 项 分 类 ， 即 因 变 
量 只 有 两 种 取 值 可 能 。 如 潜在 的 客户 啊 应 或 不 啊 应 ， 借 球 人 还 球 或 不 还 
款 等 。 二 项 分 类 是 Logistic 回 归 中 最 普遍 的 用 途 。 包 多 项 有 序 分 类 问 
题 ， 即 因 变 量 可 以 有 两 个 以 上 的 值 ， 但 各 个 取 值 之 间 有 排名 次 序 之 分 。 
比如 ， 在 茶 公 司 开展 的 用 户 满意 度 调 查 中 , “非常 满意”“ 有 些 满意 ”一 
般 ”“ 有 些 不 满意 ”和 “非常 不 满意 ” 儿 项 答案 中 是 暗含 着 排名 次 序 的 。@@) 
多 项 基数 分 类 ， 即 因 变 量 可 以 有 两 个 以 上 的 值 ， 且 各 个 取 值 之 间 是 并 列 















































关系 ， 如 消费 者 在 选 购 手 机 时 可 以 选择 “苹果 ”三星 “小 米 “ 华 为 "等 。 


具体 来 说 ，Logistic 回 归 和 用 于 数据 挖 据 、 疾 病 目 动 诊断 、 经 济 预 
测 等 领域 。 例 如 ， 判 断 肺 专 的 诱发 因素 ， 就 可 以 罗列 出 所 有 的 肺 交 病 证 
诱发 因素 并 根据 这 些 因 素 的 影响 水 平和 经 验 数 据 等 预测 肺 况 疾 病 的 发 生 
概率 。 通 过 选取 两 组 人 群 ， 一 组 为 患 病 组 ， 另 一 组 为 空白 对 照 组 ， 比 较 
两 组 人 群 不 同 的 生命 体征 、 生 活 方式 以 及 其 他 外 界 影响 因素 等 。 构 建 模 
型 时 ， 因 变量 为 二 项 分 类 法 下 的 “ 患 肺癌 ”或 “不 患 肺癌 *"”， 而 自 变 量 为 各 
影响 因素 如 年 龄 、 性 别 、 饮 食 习 惯 、 遗 传 因素 、 工 作 环 境 、 细 菌 感 染 
等 。 目 变量 既 可 以 是 连续 的 ， 也 可 以 是 分 类 的 。 然 后 通过 Logistic 回 归 
分 析 ， 可 以 得 到 目 变 量 的 权重 ， 从 而 可 以 大 臻 了解 到 底 哪 些 因素 是 诱 友 
肺癌 的 危险 因素 。 同 时 可 以 根据 该 危险 因素 的 权 值 预测 一 个 人 患 肺 将 的 
可 能 性 。 























(五 ) 正则 化 : 小 样本 的 拟 合 优化 


过 度 拟 合 是 指 一 个 模型 的 准确 性 对 训练 数据 集 比 对 一 个 独立 数据 集 
更 遇 ， 过 度 拟 合 表 现在 训练 数据 上 的 误差 非常 小 ， 而 在 测试 数据 上 误 盈 
反而 增 大 。 对 于 线性 回归 或 逻辑 回归 的 损失 函数 构成 的 模型 ， 可 能 有 些 
变量 权重 很 大 ， 有 些 变 量 权 重 很 小 ， 导 臻 过 分 拟 合 了 训练 数据 中 所 有 数 
所 的 随机 特征 ， 使 模型 的 复杂 度 扣 高， 在 实际 运用 中 对 未 知 数据 的 预测 
能 力 较 差 。 如 图 4-1 所 示 ， 左 图 即 为 欠 拟 合 ， 中 图 为 合适 的 拟 合 ， 右 图 
为 过 度 拟 合 。 























图 4-1 线性 回归 拟 合 结果 的 三 种 情况 


为 了 分 析 过 上 度 拟 合 发 生 的 本 质 原 因 ， 我 们 举 一 个 简单 的 例子 。 局 中 
数学 里 我 们 都 知道 ，n 个 线性 无 关 的 方程 可 以 解 n 个 变量 ， 解 n+1 个 变量 
就 会 无 法 解 出 来 。 回 归 分 析 中 ， 数 据 即 代表 线性 无 关 的 方程 ， 模 型 空间 
即 对 应 变量 。 模 型 拟 合 过 程 中 ， 当 训练 数据 过 少 造 成 模型 空间 相对 很 大 
时 ， 数 据 噪声 很 大 会 造成 过 度 拟 合 问题 ， 当 模型 空间 本 号 过 多 导致 模型 
复杂 时 ， 也 容易 出 现 过 度 拟 合 过 程 。 


有 一 些 拉 术 可 以 防止 过 度 拟 合 ， 包 括 对 于 独立 样本 的 模型 验证 、n- 
折 区 叉 验 证 和 正则 化 。 对 于 防止 模型 过 度 拟 合 ， 且 在 不 降低 模型 中 模型 
空间 的 前 提 下 减少 有 效 自由 度 ， 正 则 化 几乎 是 神奇 的 解决 办 法 。 为 什么 
说 正则 化 方法 神奇 呢 ? 主要 是 由 于 正则 化 保留 了 所 有 的 自 变 量 : 正则 化 
模型 对 目标 函数 的 变量 个 数 引入 损失 冰 数 的 概念 ， 通 过 减 小 目 变 量 的 参 
数 大 小 ， 甚 至 很 多 变量 的 系数 为 0 而 降低 模型 的 维度 ， 减 少 损 失 。 正 则 
化 方法 基于 自 变 量 数量 对 模型 进行 惩罚 ， 从 而 限制 其 复杂 性 。 为 了 进入 
该 模型 ， 每 个 新 的 目 变 量 一 定 要 克服 逐渐 增加 的 复杂 性 惩 避 系数 。 正 则 
化 的 方法 非 第 有 效 ， 因 为 我 们 在 分 析 解 决 一 个 问题 的 时 候 ， 模 型 中 所 有 
的 变量 可 能 都 会 对 预测 结果 产生 一 点 影响 ， 只 不 过 作用 效 末 不 同 。 不 恰 
当地 说 ， 这 个 目 变 量 颇 有 几 分 “ 食 之 无 味 、 奔 之 可 惜 ?的 两 难 之 感 ， 而 正 
则 化 方法 则 较 好 地 解决 了 这 个 问题 。 















































(六 ) 小 域 佑 计 : 小 样本 的 历史 数据 


近 70 年 来 ， 抽 样 调查 的 思想 、 理 论 体系 和 实际 应 用 已 取得 了 非常 辉 
焊 的 进展 ， 这 种 方法 凭借 其 速度 快 、 经 济 效 益 较 高 、 涉 猫 范 围 广 旦 与 时 
俱 进 的 优势 成 为 一 项 能 够 永 续 发 展 的 统计 技术 。 在 这 样 的 基础 之 上 ， 人 
们 不 再 局 限于 从 样本 中 获得 整个 总 体 的 参数 佑 计量 的 层面 ， 而 也 开始 要 
求 对 于 总 体 中 茶 些 重要 的 子 总 体 的 佑 计量 展开 研究 。 


举 个 例子 ， 为 了 研究 粮食 产量 的 可 持续 性 问题 ， 我 们 需要 调研 某 省 
各 市 县 地 区 农作物 的 播种 地 区 面积 ， 但 是 目前 可 以 获得 的 公开 数据 只 有 
这 个 省 的 年 度数 据 。 守 无 疑问 ， 这 些 数据 也 是 通过 抽取 大 量 县 城 和 村 庄 
的 田地 作为 样本 进行 调查 的 。 这 里 调查 的 研究 总 体 是 该 省 的 农作物 播种 
面积 ， 样 本 个 体 是 每 块 被 调研 的 田地 ， 而 各 县 城 的 农作物 播种 地 区 面积 
是 要 分 析 的 子 总 体 。 这 类 需要 单独 给 出 估计 的 子 总 体 也 称 为 域 
(Domain) 或 子 域 (Subdomains) 。 


从 子 总 体 的 特点 和 类 别 角度 来 说 ， 域 可 以 是 总 体 中 具有 某 种 特殊 性 
质 的 子 总 体 ; 而 从 空间 层面 或 者 是 样本 用 途 方面 来 考察 ， 比 如 ， 从 地 理 
区 域 的 角度 来 看 ， 域 也 指 相 对 总 体 而 言 区 域 范 围 较 小 的 区 域 。 如 果 沙 在 
域内 的 样本 数量 足够 大 ， 可 以 进行 足够 精度 的 估计 ， 我 们 就 可 以 将 其 看 
作 大 区 域 (Large Areas) 。 不 过 ， 当 域内 样本 量 很 小 ， 甚 至 为 0 时 ， 估 
计量 会 极 不 稳定 ， 方 差 很 大 ， 很 难 提 供 高 质量 的 统计 学 推 上 其。 这 种 域 样 
本 量 较 小 或 为 0 的 子 总 体 就 称 为 小 区 域 (Small Areas) 。 在 这 样 的 小 区 
域内 ， 人 们 可 以 通过 改进 抽样 调查 问卷 的 设计 满足 多 层次 需求 ， 获 得 既 
能 满足 自身 估计 的 需要 ， 又 能 满足 其 子 总 体 估 计 需 要 的 样本 。 然 而 传统 
的 直接 估计 方法 对 这 些 样本 的 分 析 很 难 奏效 ， 因 此 孕育 出 了 一 种 新 方 
2 

小 域 估 计 (Small Area Estimation，SAE) 诞生 于 11 世 纪 的 英国 和 17 
世纪 的 加 拿 大 ， 早 期 的 小 域 研究 主要 集中 在 人 口 统计 学 ， 人 口 统计 将 抽 
样 调查 和 域 估计 的 漠 流 ”思想 引入 了 政府 。 随 着 政府 、 机 构 对 精确 的 






































SAE 的 需求 的 增长 ，SAE 被 广泛 地 应 用 于 农业 产量 调查 、 疾 病 及 其 症状 
调查 、 吸 毒 、 醒 酒 等 问题 ， 商 业 管 理 如 辅助 决策 者 制定 政策 、 项 目 规 
划 、 财 政 资 金 分 配 和 地 方法 规 等 全 社会 生产 生活 中 。 


SAE 的 重要 意义 是 ， 很 多 新 方案 的 制定 与 AE 方 法 的 估计 结果 和 密切 
相关 ， 因 为 创新 虽然 有 实践 依据 ， 但 却 没 有 历史 可 言 ， 其 样本 数据 必然 
不 会 太 多 。 比 如 基金 分 配 、 教 育 医 疗 、 环 境 规 划 的 方案 创新 等 。 此 外 ， 
在 一 些 国 家 ， 通 过 行政 手段 进行 人 口 普查 所 获得 的 数据 ， 可 以 使 用 这 一 
算法 来 对 数据 进行 测评 和 调整 。 

SAE 的 关键 点 是 如 何在 样本 很 少 的 情况 下 尽 可 能 准确 地 估计 子 总 体 
对 象 特征 的 均值 、 计 数 、 分 位 点 等 内 容 ， 也 就 是 次 对 佑 计量 的 误差 的 测 
定 和 控制 是 SAE 最 核心 也 是 最 敏感 的 痛 点 ， 由 此 也 衍生 了 一 些 有 意思 的 
SAE 分 析 方 法 。 正 如 数理 统计 有 经 典 统计 学 派 与 贝 叶 斯 学 派 一 样 ， 实 现 
SAE 的 途径 也 有 经 典 方法 与 现代 方法 。 一 类 是 直接 估计 方法 ， 称 为 基于 
设计 的 估计 方法 ; 男 一 类 是 间接 估计 的 方法 ， 称 为 基于 模型 的 估计 方 
2 

基于 设计 的 方法 常常 采用 一 种 辅助 模型 作为 评价 者 的 构架 体系 ， 但 
征 偶 傈 、 方 过 和 评 佑 量 等 属性 需要 通过 基于 设计 的 算法 的 随机 分 布 来 佑 
计 。 假 定 总 体 参数 是 固定 的 ， 一 个 佑 计量 的 随机 分 布 是 通过 所 有 可 能 获 
得 的 样本 得 到 的 分 布 ， 而 这 些 所 有 可 能 获得 的 样本 是 在 对 选取 样本 的 抽 
样 设 计 条 件 下 从 目标 总 体 中 选取 的 。 另 外 ， 基 于 模型 的 方法 认为 总 体 结 
构 遵从 一 个 特定 概念 下 的 模型 : “有 限 总 体 本 号 就 可 以 看 作 茶 无限 总 体 
的 一 个 随机 样本 。” 由 假设 模型 导出 的 分 布 提供 了 所 抽 中 特定 样本 的 相 
天 推 亲 。 基 于 模型 的 方法 已 被 用 来 研究 直接 估计 及 其 相关 推 产 ， 包 括 线 
性 模型 、 非 线性 模型 及 随机 效应 模型 。 就 已 抽 中 的 特定 样本 而 言 ， 这 些 
方法 提供 了 真实 有 效 的 条 件 推 亲 。 但 在 模型 定义 错误 的 情况 下 ， 随 独 域 
样本 量 的 增 大 ， 基 于 模型 的 方法 可 能 很 差 。SAE 方 法 在 实际 应 用 过 程 中 
会 面临 着 方法 的 选择 ， 要 根据 不 同 的 调查 目的 和 实际 情况 选择 适当 的 方 
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(七 ) 随机 模拟 : 小 样本 的 模拟 数据 


在 日 常生 活 中 ， 我 们 时 常 发 现 ， 诸 如 几何 之 类 的 实际 问题 ， 数 学 解 
法 虽然 可 以 很 好 地 帮助 我 们 解决 ， 如 各 类 微 积分 、 中 心 极限 定理 等 问 
题 ， 但 是 这 些 公式 的 计算 数据 ， 一 般 都 相当 庞大 且 复 杂 难 解 ， 这 就 为 处 
理 问题 的 我 们 带 来 很 多 困扰 ， 正 是 因为 客观 世界 的 某 些 现象 之 间 存在 着 
某 种 相似 性 ， 因 而 可 以 从 一 种 现象 出 发 研究 另 一 种 现象 。 比 如 ， 在 分 析 
一 个 系统 时 ， 可 先 构造 一 个 与 该 系统 相似 的 模型 ， 通 过 在 模型 上 进行 实 
验 来 研究 原 模型 ， 这 就 是 模拟 ， 随 机 系统 可 以 用 概率 模型 来 描述 并 进行 
实验 ， 称 为 随机 模拟 方法 。 随 机 模拟 利用 计算 机 先进 技术 ， 把 日 常生 活 
中 的 例子 仿真 到 计算 机 内 部 ， 全 部 大 数据 交 给 计算 机 处 理 ， 我 们 只 需要 
保证 仿真 与 真实 完全 吻合 即 可 ， 过 程 一 目 了 然 ， 结 果 简 单 可 行 。 


蒙特 卡 洛 模拟 ， 也 叫 统计 模拟 ， 这 个 术语 是 “二 战 ?时 期 美国 物理 学 
家 Metropolis 在 执行 曼哈顿 计划 的 过 程 中 提出 来 的 ， 其 基本 思想 很 早 以 
前 就 被 人 们 发 现 和 利用 。 蒙 特 卡 洛 模 拟 是 一 种 通过 设 定 随机 过 程 ， 反 复 
生成 时 间 序 列 ， 计 算 参 数 估计 量 和 统计 量 ， 进 而 研究 其 分 布 特征 的 方 
法 。 蒙 特 卡 洛 模拟 方法 的 原理 是 当 问 题 或 对 象 本 号 具 有 概率 特征 时 ， 可 
以 用 计算 机 模拟 的 方法 产生 抽样 结果 ， 根 据 抽样 计算 统计 量 或 者 参数 的 
值 ， 随 着 模拟 次 数 的 增多 ， 可 以 通过 对 各 次 统计 量 或 参数 的 估计 值 求 平 
均 的 方法 得 到 稳定 结论 。 

蒙特 卡 洛 方法 是 一 种 通过 生成 合适 的 随机 数 和 观察 部 分 服从 一 些 特 
定性 质 或 属性 的 数据 来 解决 问题 的 方法 ， 通 过 在 计算 机 上 进行 统计 抽样 
实验 为 各 种 各 样 的 数学 问题 提供 了 近似 解 ， 这 种 方法 对 于 一 些 太 复杂 以 
至 很 难 分 析 求 解 的 问题 得 到 数字 解法 是 非常 有 效 的 ， 而 且 同 样 也 适用 于 
室 无 概率 性 的 问题 和 内 在 固有 概率 结构 的 问题 。 








二 、 什 么 时 候 想 起 小 数据 ? 


其 实 ， 小 数据 的 概念 并 不 神秘 ， 我 们 之 所 以 不 熟悉 小 数据 ， 是 因为 
它们 时 时 刻 刻 存在 于 我 们 的 生活 之 中 ， 是 生活 中 的 内 容 ， 亦 是 生活 中 的 
环境 。 我 们 已 经 在 前 面 简单 了 解 了 小 数据 分 析 方 法 的 本 质 和 应 用 方 癌 ， 
但 我 们 还 是 要 进行 有 反思， 希望 你 也 能 和 我 们 一 起 思考 : 什么 时 候 才 能 敏 
锐 地 穴 沉 到 上 自己 正在 处 理 的 大 部 分 事情 ， 都 是 小 数据 问题 呢 ? 

沉 统 地 讲 ， 小 数据 至 少 在 下 面 几 个 领域 里 是 主流 的 分 析 方 法 : 

(1) 企业 决策 方案 的 制定 与 选择 。 一 直 以 来 ， 小 数据 能 够 解决 的 
古 一 个 职员 数量 有 限 、 行 业 容量 有 限 的 企业 的 个 性 化 发 展 问 题 。 大 数据 
的 魅力 再 大 ， 本 领 再 高 ， 我 们 在 进行 商业 决策 时 ， 都 要 结合 本 企业 的 业 
务 特点 、 企 业 文 化 、 战 略 思想 和 市 场 环 境 、 行 业 发 展 、 监 管 力度 进行 多 
维度 的 深入 思考 。 丙 业 诀 策 的 复杂 程度 要 求 企 业 更 新 运用 数据 的 馆 辑 ， 
扩展 数据 分 析 的 格局 ， 强 调用 新 拉 术 解读 个 体 旧 数据 的 小 数据 思维 。 具 
体 来 将， 传统 的 小 数据 分 析 方 法 可 能 不 再 完全 契合 企业 对 于 决策 效果 的 
预测 需求 ， 但 其 对 于 小 数据 本 质 的 透彻 理解 是 任何 新 技术 加 以 运用 的 基 
础 ， 因 此 对 于 传统 小 数据 分 析 拉 术 ， 我 们 应 该 取 其 精华 、 去 其 糟粕 ， 在 
时 代 发 展 的 进程 中 不 断 进 行 升 华 。 

(2) 有 限 数量 样本 的 聚 类 模型 。 如 国家 、 州 市 、 运 动 队 、 生 态 环 
境 、 行 业 研 究 以 及 其 他 任何 总 体 本 身 是 有 限 的 情况 。 在 这 方面 ， 小 数据 
的 作用 是 巨大 的 ， 聚 类 分 析 考 察 的 是 不 同 数据 之 间 的 相似 度 。 比 如 ， 考 
察 一 个 行业 中 某 一 标准 下 所 有 企业 的 竞争 力 ， 通 过 小 数据 概念 下 的 聚 类 
分 析 就 可 以 将 企业 之 间 进 行 模 同 比较 ， 从 而 找到 本 企业 与 行业 龙头 相 比 
所 到 缺 的 实力 。 又 如 ， 我 国 兵 乓 球 运 动 一 直 在 世界 上 独 领 风骚 ， 日 本 、 
贺 国 、 德 国 等 球 队 虽 然 奋力 退 赶 但 仍然 望 持 英 及 ， 如 果 我 们 能 对 这 些 国 



































家 乒乓 球 国家 队 的 竞技 水 平 的 相关 影 啊 因 素 如 训练 方法 、 技 术 特 点 、 教 
练 水 平 、 人 种 因素 、 运 动员 映 体系 质 甚 至 是 政治 因素 、 与 论 因素 等 都 纳 
入 考量 ， 加 以 量化 并 进行 聚 类 分 析 ， 相 信 可 以 从 数据 层面 上 解读 我 国 国 
球 傲视 群雄 的 原因 。 


(3) 科研 工作 中 理论 的 创新 和 实践 。 坚 无 疑问 ， 科 研 工作 离 不 开 
数据 的 支持 ， 但 是 科研 工作 对 于 数据 的 要 求 是 很 高 的 。 多 年 以 前 ， 昌 然 
从 技术 水 平 上 来 说 ， 数 据 的 精度 不 高 且 容易 出 现时 间 上 的 断 名 ， 但 是 科 
研 工作 者 以 其 严谨 的 数据 收集 和 处 理 的 态度 来 控制 样本 量 、 清 洗 数 据 ， 
因此 各 个 领域 的 学 科研 究 才 能 够 迅速 友 展 起 来 。 随 着 技术 的 肥 展 ， 人 类 
对 未 知 领域 的 好 奇 心 越发 强烈 ， 数 据 的 体 量 也 急速 膀 胀 ， 数 据 洪 流 对 于 
科研 工作 是 一 把 双 叉 人 环 ， 如 何在 大 数据 与 小 数据 之 间 进 行 取舍 和 平衡 ， 
征 科 研 工 作者 在 21 世 纪 一 个 严肃 又 活泼 的 谍 题 。 


(4) 哲学 思想 和 小 数据 思维 的 共通 。《 易 经 系 辞 》 中 所 谓 "“ 形 而 
上 者 谓 之 道 ， 形 而 下 者 谓 之 器 ， 化 而 裁 之 谓 之 变 ， 推 而 行 之 谓 之 通 ， 举 
而 措 之 天 下 之 民 谓 之 事业 ”。 在 这 里 我 们 需要 了 解 的 是 ， 形 而 上 是 指 思 
维 的 和 宏观 的 范畴 ， 其 实 就 是 “* 道 ”， 既 是 指 哲学 方法 ， 又 是 指 思 维 活 
动 。 形 而 下 则 是 指 具 体 的 ， 可 以 捉摸 到 的 东西 或 部 物 。“ 化 而 裁 之 ”是 指 
不 但 要 看 到 事物 的 变化 ， 更 重要 的 是 要 像 裁 缝 一 样 对 变化 处 置 得 当 。 也 
就 是 说 ， 要 能 够 确定 它 变 的 过 程 、 动 力 、 轨 迹 、 趋 向 是 什么 .…... 从 哲学 
维度 上 看 ， 这 告诉 我 们 以 变化 的 思想 来 认识 和 看 待 宇 害 中 的 万 事 万 物 。 
但 是 将 思想 落 到 实处 的 就 是 去 捕捉 事物 变化 的 具体 表现 形式 一 一 各 种 各 
样 的 小 数据 。《 周 易 : 系 辞 》 中 有 言 “ 仰 以 观 于 天 文 ， 信 以 察 于 地 理 ， 是 
改 知 幽 明之 故 ， 原 始 反 终 ， 故 知 死生 之 说 ; 精 气 为 物 ， 游 瑰 为 变 ， 是 故 
知 鬼 神 之 情 状 >”。 宇 宙 有 它 的 妙趣 纷 经 、 形 态 万 千 的 表现 : 天 上 有 日 月 
星 展 、 风 雷 云 献 ， 大 地 有 山川 河流 草木 ， 有 人 类 及 诸 生 物 ， 人 类 的 生存 
有 着 日 出 而 作 日 落 而 息 的 诸多 活动 .…... 宇 宙 自 然 的 本 质 规律 就 在 这 一 切 
现象 中 呈现 出 来 ， 只 要 我 们 细心 观察 ， 宇 宙 、 大 目 然 的 本 质 就 可 以 被 察 
识 、 推 求 ， 可 以 被 体悟 。 





















































所 以 我 们 说 小 数据 研究 的 是 个 体 的 本 质 和 变化 ， 这 个 宗旨 是 哲学 思 
想 在 数据 层面 的 体现 和 运用 。 此 外 ， 数 据 的 理解 和 应 用 亦 有 其 “ 道 、 
法 、 术 、 器 ”， 不 应 盲目 退 求 技术 之 所 及 ， 而 应 沉 下 心 来 ， 探 索 数据 和 
未 知 领域 的 深层 联系 。 


三 、 贝 叶 斯 真 的 能 推理 吗 ? 


朴素 的 贝 叶 斯 方法 依据 贝 叶 斯 定理 对 事物 的 现象 和 本 质 进行 推断 和 
分 析 。 即 便 如 此 ， 随 着 小 数据 的 内 涵 和 外 延 进一步 扩展 ， 基 于 小 数据 的 
贝 叶 斯 方法 可 以 用 于 更 加 精准 和 个 性 化 问题 的 预测 模型 建设 中 。 也 就 是 
说 ， 如 果 你 有 茶 个 实体 的 充分 数据 ， 并 且 想 了 解 什么 数据 对 于 预测 特定 
事件 是 最 有 用 的 ， 贝 叶 斯 网 络 非 党 有效。 让 我 们 举 一 个 例子 来 进行 说 
明 。 

例如 ， 我 们 对 一 个 按揭 贷款 行为 中 借款 人 的 信用 风险 很 感 兴趣 ， 并 
且 我 们 在 做 资信 调查 时 已 经 收集 到 了 有 关 借 丈 人 、 抵 押 物 、 当 地 经 济 条 
件 等 方面 的 大 量 多 维 数据 。 这 时 通过 绘制 的 贝 叶 斯 网 络 图 可 以 帮助 我 们 
分 析 问 题 。 一 个 贝 叶 斯 简明 网 络 代表 一 个 数学 图 中 变量 之 间 关 系 的 系 
统 ， 作 为 市 反 的 变量 和 作为 边 的 有 条 件 的 依赖 关系 就 通过 这 个 贝 叶 斯 网 
络 图 表示 出 来 。 如 图 4-2 所 示 的 贝 叶 斯 网 络 图 可 以 帮助 我 们 认识 并 且 权 
衡 每 个 数据 项 的 信息 价值 ， 便 于 集中 精力 关注 对 借 球 人 违约 还 蒜 风险 影 
啊 较 大 的 因素 。 




















购买 价格 


市 场 趋势 本 地 就 业 市 场 
月 工资 
当前 价值 


预付 款 变 这 


图 4-2 借款 人 信用 风 险 的 贝 叶 斯 网 络 图 


通过 绘制 如 上 图 所 示 的 简单 贝 叶 斯 网 络 ， 可 以 将 因 变 量 的 影响 因素 
和 作用 关系 以 一 种 可 视 化 的 方式 进行 标示 ， 继 而 建 模 。 需 要 注意 的 是 ， 
在 这 样 的 贝 叶 斯 网 络 中 ， 各 个 变量 之 间 的 作用 关系 以 实际 关系 为 基准 ， 
而 不 需要 假定 自 变 量 只 作用 于 因 变 量 。 比 如 ， 月 工资 作为 借款 人 还 款 能 
力 和 意愿 的 重要 衡量 指标 ， 在 既往 的 分 析 中 ， 我 们 也 是 只 考察 其 对 违约 
率 的 直接 影响 。 而 在 贝 叶 斯 网 络 中 ， 我 们 可 以 看 到 月 工资 水 平 受到 贷款 
金额 的 影响 ， 又 与 股权 的 购买 和 置换 有 直接 联系 ， 股 权 的 掌握 又 能 够 下 
接 作 用 于 预付 球 紊 和 违约 率 ， 预 付 球 率 又 能 生 接 作用 于 违约 京 。 也 就 是 
说 ， 茶 一 个 单独 的 目 变 量 既 可 以 单独 影响 因 变 量 ， 也 可 以 通过 作用 于 其 
他 目 变 量 而 间接 影响 因 变 量 。 因 此 ， 当 与 业务 利益 相关 者 共同 定义 某 个 
预测 模型 问题 的 时 候 ， 这 是 一 个 很 有 价值 的 探索 数据 的 工具 。 









































由、 回归 分 析 是 力 大 无 穷 的 ! 


大 部 分 学 习 统 计 分 析 和 市 场 研究 的 人 都 会 用 回归 分 析 ， 操 作 也 比较 
简单 。 但 能 够 知道 多 元 回归 分 析 的 适用 条 件 或 是 如 何 将 回归 应 用 于 实 
践 ， 可 能 还 要 真正 领会 回归 分 析 的 基本 思想 。 线 性 回归 思想 包含 在 其 他 
多 变量 分 析 中 ， 例 如 ， 判 别 分 析 的 自 变 量 实际 上 是 回归 ， 尤 其 是 Fisher 
线性 回归 方程 ，Logistics 回 归 的 目 变 量 也 是 回归 ， 只 不 过 是 计算 线性 回 
归 方程 的 得 分 进行 了 概率 转换 ， 甚 至 因子 分 析 和 主 成 分 分 析 最 终 的 因子 
得 分 或 主 成 分 得 分 也 是 回归 算出 来 的 ， 当 然 ， 还 有 很 多 分 析 最 终 也 是 回 
归 思 想 ! 因此 我 们 说 多 元 线性 回归 分 析 非 常 强 大 ， 是 因为 其 以 各 种 各 样 
分 析 方 法 和 形态 展现 着 目 变量 和 因 变 量 之 间 的 因果 关系 。 


在 市 场 经 济 活动 中 ， 多 元 线性 回归 分 析 预 测 方 法 可 以 对 市 场 的 发 展 
和 变化 与 其 影响 因 系 之 间 的 依存 关系 进行 测算 。 比 如 ， 预 测 房价 走势 、 
股票 的 走势 、 医 院 管 理 效 果 的 预 判 、 城 市 用 水 量 的 预测 、 企 业 人 才 需 求 
的 预 估 、 企 业 风险 控制 效果 的 测评 、 道 路 交通 事故 的 分 析 与 预测 等 。 这 
里 我 们 举 一 个 实例 来 说 明 多 元 线性 分 析 的 操作 步骤 是 怎样 的 。 


例如 ， 在 公路 客 货运 输 量 的 预测 过 程 中 ， 首 先 采 取 定 性 和 定量 的 方 
法 来 确定 影响 公路 客 货 运输 量 的 因素 如 人 口 增长 量 、 国 内 生产 总 值 、 国 
民工 资 水 平 、 铁 路 及 水 运 客 运 量 、 人 口 货 车 保有 量 、 主 要 工农 业 产品 产 
量 、 社 会 商品 购买 力 、 水 陆 空 货运 量 等 。 上 述 影 啊 因 系 是 研究 人 员 基 于 
文献 研究 和 实践 经 验 进行 的 分 析 和 汇总 ， 但 在 具体 操作 过 程 中 影响 因素 
的 数目 可 以 根据 重要 程度 进行 筛选 。 如 果 遗 漏 了 比较 重要 的 影响 因素 ， 
模型 的 预测 结果 将 会 大 打折 扣 ， 同 时 ， 如 采 影 啊 因 系 太 少 ， 则 会 使 模型 
敏感 度 太 高 ， 同 样 造成 结果 的 失真 。 但 如 果 加 入 了 太 多 的 影响 因素 ， 则 
会 造成 模型 计算 的 复杂 化 ， 且 随机 误差 较 大 。 因 此 影响 因素 的 确定 与 选 




































































择 还 要 考虑 很 多 模型 方面 的 假定 和 限制 条 件 ， 这 也 是 很 多 分 析 问 题 要 寻 
求 专家 的 聪明 才 乔 和 经 验 来 确定 影响 因素 的 主要 原因 。 


完成 影响 因素 的 确定 即 目 变量 的 选取 环节 后 ， 就 要 建立 线性 回归 方 
程 了 。 利 用 最 小 二 乘法 原理 寻求 使 平方 和 达到 最 小 的 线性 回归 方程 。 紧 
接 独 就 要 进行 数据 整理 。 收 集 历 年 的 客 、 货 运输 量 和 各 上 自 变 量 的 统计 资 
料 进 行 整理 、 审 核 数据 清洗 工作 。 样 本 数据 的 清洗 和 调整 工作 对 于 模型 
预测 效果 的 影响 是 很 大 的 ， 因 此 这 个 环 市 要 格外 细致 严谨 。 

有 了 规范 化 的 样本 数据 后 ， 就 可 以 对 各 目 变量 的 权重 值 即 参数 进行 
估计 了 。 在 实际 预测 中 ， 有 多 种 参数 估计 的 方法 ， 应 根据 具体 问题 来 选 
取 最 合适 的 方法 。 参 数 佑 计 结 束 后 ， 估 计 络 果 是 否 令 人 满意 需要 经 过 重 
重 的 检验 才能 确定 。 一 般 的 检验 工作 必须 从 五 个 方面 来 进行 。 册 经 济 意 
义 检验 : 对 于 经 济 预 训 的 数学 模型 ， 首 先 要 检验 模型 是 否 具 有 经 济 意 
义 。 耕 参数 估计 值 的 符号 和 大 小 与 公路 运输 经 济 发 展 与 经 济 判别 不 符合 
时 ， 这 时 所 估计 的 模型 就 不 能 或 很 难 解释 公路 运输 经 济 的 一 般 发 展 规 
律 。 那 么 这 个 模型 其 实 就 是 无 效 的 。 包 统 计 检 验 : 统计 检验 主要 是 用 来 
检测 模型 的 参数 估计 的 可 靠 性 。@@ 拟 合 优 度 检验 : 拟 合 优 度 是 指 所 建立 
的 模型 与 观察 的 实际 情况 轨迹 是 否 吻合 、 接 近 ， 接 近 到 什么 程度 。 统 计 
学 上 是 通过 用 样本 数据 构造 R* 统 计量 来 测度 拟 合 优 度 的 ，R* 越 接近 于 
1， 表 示 模 型 拟 合 得 越 接近 实际 。 外 回归 方程 的 显著 性 检验 : 通过 方差 
分 析 构 造 F 统 计量 来 进行 茶 一 置信 水 平 下 方程 的 显赫 性 检验 ， 从 而 判断 
回归 分 析 方 程 的 总 体 效 果 。@@ 参 数 估计 值 的 标准 差 检验 : 估计 值 的 标准 
差 是 衡量 估计 值 与 真实 参数 值 的 离 莽 的 一 种 测 谋 。 参 数 的 标准 差 越 大 ， 
估计 值 的 可 靠 性 也 就 越 小 。 通 过 构造 大 统计 量 判断 在 茶 一 置信 水 平 下 参 
数 估计 值 的 可 靠 性 。 


然后 ， 需 要 确定 最 优 回归 方程 并 将 其 运用 到 实际 经 济 活动 中 来 检测 
回归 方程 的 预测 能 力 。 最 后 ， 也 是 画龙点睛 的 一 个 环节 就 是 将 回归 分 析 
的 参数 估计 结果 转化 为 理论 研究 和 经 济 生活 治理 的 重要 依据 。 在 公路 客 
仙 运 输 量 预测 问题 中 ， 回 归 分 析 结 果 首 先 可 以 直观 地 看 出 各 变量 的 影响 









































大 小 ， 从 而 进一步 完善 相关 理论 ; 其 次 参数 估计 的 结果 也 可 以 预测 该 地 
区 今后 年 份 公 路 客 货运 输 量 的 变化 ， 从 而 为 相关 联 的 公路 运输 市 场 、 政 
策 以 及 相关 项 目 投资 的 前 景 做 出 预 判 ， 最 后 ， 可 以 从 宏观 角度 测度 公路 
客 货 运输 量 对 经 济 政 集 等 因 系 的 敏感 度 ， 以 便 进行 政 琐 评 价 。 


公路 客 货 运输 量 问题 只 是 多 元 线性 回归 分 析 应 用 的 一 个 小 小 场景 ， 
回归 分 析 的 应 用 领域 非常 广阔 ， 效 果 往 往 也 很 有 价值 ， 因 此 各 个 层次 的 
分 析 人 员 都 喜欢 不 断 研 究 回 归 分 析 方 法 。 在 大 数据 时 代 下 ， 随 着 机 需 学 
习 不 断 成 为 潮流 ， 回 归 分 析 的 光 主 似乎 有 所 品 淡 ， 但 事实 上 ， 机 器 学 习 
古 一 个 新 领域 的 概念 ， 回 归 分 析 仍 然 是 主演 的 分 析 方 法 。 

















五 、 让 小 数据 融 近 真相 


随机 模拟 思想 的 雏形 可 以 追溯 到 著名 的 蒲 丰 问题 〈 投 针 试 验 ) 计算 
圆周 率 r， 但 其 实验 过 程 及 计算 比较 麻烦 ， 今 天 我 们 介绍 一 种 更 为 简 
洁 、 直 观 的 计算 圆周 率 的 方法 ， 方 便 大 家 更 好 地 理解 随机 模拟 的 原理 。 

我 们 先 构造 一 个 定 积分 /- | /i=x4 ， 然 后 画 出 图 4-3， 显 然 这 个 定 
积分 就 是 图 中 阴影 部 分 的 面积 ， 即 单位 圆 的 /4 (m4) 。 为 了 求 出 r 的 
值 ， 我 们 要 计算 出 这 个 积分 的 值 。 





学 








图 4-3 蒙特 卡 洛 法 求 阴影 面积 


我 们 把 被 积 函数 与 坐标 轴 围 成 的 阴影 部 分 称 为 区 域 A， 阴 影 部 分 所 
在 的 四 方形 称 为 区 域 B， 区 域 A 就 代表 了 积分 值 。 考 虑 随机 地 向 区 域 B 内 
投 点 (x,y) ， 则 点 (x，y) 落 入 区 域 A 的 频率 p 就 是 ，p=p- 全 ， 接 着 
我 们 进行 无 数 次 投 点 ， 只 要 我 们 进行 足够 多 次 数 的 投 点 ， 就 可 以 得 到 一 
个 相对 准确 的 估 值 p， 进 而 由 估 值 p 计 算出 A〈 即 m4) 的 值 ， 我 们 就 可 以 
计算 出 圆周 率 的 近似 值 。 

其 实 可 以 看 出 ， 上 述 方法 也 是 一 种 计算 定 积分 的 数值 的 方法 ， 蒙 特 
卡 洛 模拟 方法 对 于 计算 复杂 的 积分 问题 十 分 便捷 。 我 们 再 看 一 个 简单 的 
大 家 比较 好 理解 的 例子 一 模拟 无 理 数 /3。 


由 平方 1*<3<2“2， 我 们 得 知 3 是 一 个 大 于 1 且 小 于 2 的 数 ， 而 3 有 具体 值 
我 们 只 是 直接 被 科学 地 告知 约 等 于 1.732， 但 具体 为 什么 我 们 却 没 有 给 
出 明确 解释 ， 其 实 像 这 种 无 理 数 并 不 是 都 不 可 算 ， 下 面 我 们 就 应 用 蒙特 
卡 洛 法 来 对 其 进行 计算 验证 ， 并 且 我 们 也 可 以 由 此 类 推 去 计算 其 他 一 些 
无 理 数 的 值 。 

如 网 4-4 所 示 ， 已 知 DABCD 是 边 长 为 1 的 正方 形 ，AABE 是 等 边 三 
角形 ，AABE 的 面积 等 于 (sin 60°) /2， 也 即 是 /3 /4。 同 时 ， 通 过 计算 
机 实验 我 们 可 以 在 DABCD 区 域内 产生 大 量 服从 均匀 分 布 的 随机 数 ， 由 
蒙特 卡 洛 概率 算法 ， 当 随机 数 的 数量 足够 大 时 ， 和 人 AABE 的 面积 比 上 
DABCD 的 面积 近似 等 于 落 入 人 AABE 区 域内 随机 数 的 个 数 比 上 DABCD 区 
域内 所 有 随机 数 的 个 数 。 由 此 ， 我 们 可 以 根据 计算 机 模拟 计算 3 就 等 于 4 
倍 的 AABE 区 域内 随机 数 的 个 数 比 DABCD 区 域内 所 有 随机 数 的 个 数 的 
值 。 














图 4-4 蒙特 卡 洛 法 求 


除了 数学 及 统计 学 专业 研究 上 的 应 用 ， 蒙 特 卡 洛 模拟 也 越 来 越 被 广 
泛 地 应 用 于 经 济 、 风 险 、 物 理 、 生 物 等 多 个 领域 。 蒙 特 卡 洛 模拟 不 仅 是 
一 种 优秀 的 研究 方法 ， 也 是 日 常 商 业 活 动 中 不 可 或 缺 的 分 析 法 。 如 某 零 
售 商 希 望 进行 一 次 商业 营销 活动 ， 并 已 经 通过 历史 营销 数据 建立 了 相应 
预测 模型 ， 但 不 能 确定 符 章 销 的 客户 名 单 中 会 有 多 少 人 啊 应 ， 需 要 做 多 
少 的 商品 备货 及 预算 。 此 时 ， 便 可 使 用 蒙特 卡 洛 模拟 ， 根 据 客户 整体 数 
据 ， 进 行 大 量 模拟 啊 应 测试 ， 然 后 分 析 啊 应 人 数 的 分 布 情况 ， 从 而 根据 
各 种 结果 出 现 的 概率 来 判断 可 能 需要 应 对 的 极端 情况 。 同 样 在 财务 分 析 
管理 方面 ， 如 茶 企 业 发 现 了 一 个 项 目 机 会 ， 未 来 可 为 企业 带 来 定期 的 现 
金 流 收入 ， 但 流入 的 金额 大 小 是 不 能 完全 确定 的 。 此 时 ， 为 了 评估 项 目 
是 否 值 得 投入 及 其 投入 风险 ， 就 可 以 利用 蒙特 卡 洛 技术， 根据 同类 项 目 
的 历史 数据 ， 模 拟 其 未 来 的 现金 流 大 小 以 及 市 场 折 现 率 ， 帮 助 评估 该 项 








目的 净 现 值 ， 来 辅助 此 类 的 重大 决策 。 


六 、 与 小 概率 平起平坐 





我 们 生活 的 最 大 特点 是 不 确定 性 ， 随 机 现象 比比 缘 是 ， 大 起 大 沙 各 
常 发 生 在 须 史 之 间 。 妆 随机 性 的 黑 天 笋 出 现时 ， 你 可 能 一 夜 暴 是， 也 可 
能 在 一 次 失误 中 回 到 原点 。 但 我 们 天 生 倾 癌 于 忽视 低 概率 事件 的 可 能 
性 ， 无 论 这 些 事件 会 引发 多 大 的 灾难 。《 随 机 漫步 的 傻瓜 》 以 深刻 独到 
的 视角 ， 告 诉 我 们 这 个 随机 世界 的 规律 和 运行 方式 。 随 机 性 虽然 无 法 避 
免 ， 但 我 们 可 以 学 着 接受 它 。 就 像 在 投资 市 场 上 ， 如 果 一 个 小 概率 事件 
可 以 带 来 巨额 回报 ， 为 什么 不 在 这 个 事件 上 持续 下 注 昵 ? 换 一 种 思维 方 
式 ， 做 “随机 漫步 的 傻瓜 "， 我 们 对 人 生 的 了 解 无 疑 将 大 为 增进 。 

目 局 蒙 运 动 以 来 ， 在 理性 主义 (我们 希望 事物 是 什么 样子 ， 才 能 让 
我 们 觉得 有 道理 ) 和 经 验 主义 (事物 实际 的 样子 的 对 立 中 ， 我 们 一 直 
在 责怪 这 个 世界 是 不 符合 “理性 ”模型 的 “普罗 克拉 斯 提 斯 之 床 *”， 一 直 在 
尝试 改变 人 们 以 适应 技术 ， 改 变 伦理 以 适应 我 们 对 雇用 的 需求 ， 改 变 经 
济 生活 以 适应 经 济 学 家 的 理论 ， 努 力 把 人 生 禾 进 某 种 叙事 框 染 之 中 。 

当 我 们 对 未 知事 物 的 表现 和 对 随机 效应 的 理解 出 错时 ， 如 果 这 个 错 
误 不 会 导致 负面 的 结果 ， 那 我 们 残 是 强壮 的 一 一 否则 我 们 就 是 脆弱 的 。 
强壮 的 人 能 够 从 黑 天 鹅 事 件 中 获 蔓 ， 脆 弱 的 人 则 会 受到 此 类 事件 的 严重 
冲击 。 我 们 正 因为 科学 上 的 某 种 自我 中 心 主义 而 变 得 越 来 越 脆弱 ， 越 来 
越 倾 向 于 对 未 知 的 东西 提出 充满 自信 的 结论 一 一 这 导致 了 问题 、 风 险 ， 
以 及 对 人 类 错误 的 严重 依赖 。 正 如 《随机 生存 的 智慧 》 中 描述 的 那样 ， 
学 习 随 机 世界 中 的 生存 重 意 ， 破 除 我 们 惯用 的 虚假 模式 ， 从 容 不 迫 地 应 
对 生活 中 的 各 种 难题 ， 展 示 我 们 从 未 意识 到 的 终极 奥秘 。 





























一 、 小 数据 决定 人 工 留 能 的 未 来 


2001 年 上 映 的 科幻 片 《 人 工 智能 》 (Artificial Intelligenc) ， 使 我 们 
第 一 次 直观 地 认识 了 “人 工 智 能 ”这 个 概念 。 电 影 中 讲述 的 是 一 个 生存 着 
大 量 机 器 人 的 世界 ， 它 们 在 人 类 的 生活 中 扮演 不 同 的 角色 ， 为 人 类 提供 
各 种 服务 。 这 些 机 器 人 有 人 类 的 样 狗 ， 有 发 达 的 大 脑 ， 它 们 可 以 独立 地 
思考 ， 可 以 辩证 地 去 看 竺 问题， 可 以 完美 地 完成 人 类 下 达 的 指令 ， 拥 有 
一 定 的 感觉 ， 甚 至 是 像 人 类 一 样 生活 。 机 器 人 制造 者 意识 到 ， 这 样 的 机 
器 人 ， 虽 然 拥 有 比 人 类 发 达 的 大 脑 ， 但 是 却 缺少 了 一 样 东西 一 一 感情 。 
于 是 小 主人 公 David 的 创造 ， 就 被 植 入 了 感情 的 学 习 模式 。 在 家 庭 生活 
的 过 程 中 一 点 一 滴 学 习 人 类 的 行为 模式 、 情 感 模式 ， 拥 有 了 爱 、 恨 、 姥 
妒 等 不 同 的 感情 ， 努 力 地 成 为 真正 意义 上 的 人 人， 这样 的 情节 设 定 引 起 了 
我 的 注意 。 人 工 智 能 到 底 是 什么 ? 是 一 堆 程 序 和 硬件 组 成 的 钢铁 架 ? 是 
电影 中 可 以 说 话 、 思 考 的 泰 迪 能 ?还 是 拥有 人 类 的 外 表 、 思 维和 情感 的 
机 器 人 ?这 些 东 西 是 不 是 有 一 天 真 的 会 实现 ? 又 是 如 何 实 现 的 呢 ? 


1950 年 ， 艾 伦 : 图 呈 的 图 灵 测 试 ， 提 出 了 机 器 学 习 、 数 学 证 明 、 知 
识 推理 等 技术 和 应 用 。 但 是 在 当时 ， 计 算 机 的 技术 还 没有 那么 发 达 ， 逻 
辑 算 法 也 还 没有 形成 体系 ， 人 工 智 能 的 发 展 因此 受到 了 一 定 的 局 限 。 
1955 年 ， 科 学 家 做 了 一 个 “逻辑 专家 ?的 程序 ， 这 个 程序 将 所 有 问题 做 成 
了 一 个 树 形 的 模型 ， 进 而 选择 正确 的 一 个 来 求解 ， 这 个 程序 被 认为 是 最 
早 的 人 工 智 能 。1956 年 的 达 特 茸 斯 会 议 上 ， 人 工 智能 的 概念 被 正式 提出 
来 ， 约 办 :麦卡锡 在 此 次 会 议 上 给 出 了 人 工 智能 的 定义 : 人 工 智 能 就 是 
要 让 机 露 的 行为 看 起 来 就 像 吓人 所 表现 出 的 智能 行为 一 样 。 而 后 ， 有 科 
学 家 利用 和 故 炸 机 上 的 装置 模拟 出 了 40 个 神经 元 组 成 的 网 络 。 但 是 在 当 
时 ， 由 于 计算 机 硬件 条 件 的 限制 ， 人 工 智 能 并 未 引起 重视 ， 甚 至 有 看 法 




















认为 ， 人 工 乔 能 无 法 实现 。 

到 了 20 世 纪 70 年 代 ， 基 于 符号 学 派 的 技术 的 产生 让 人 工 智 能 有 了 新 
的 作为 。 但 这 时 候 的 人 工 智能 是 由 专家 编制 规则， 然后 进行 符号 推理 
的 ; 所 以 机 器 只 能 作为 被 动 的 输出 方 ， 并 未 进行 目 主 的 学 习 和 推理 ， 也 
无 法 目 行 改变 逻辑 。 这 一 时 期 研究 人 员 也 提出 了 机 器 视觉 方面 的 理论 ， 
让 机 器 上 自主 地 辨认 图 片上 面 的 信息 。 

到 了 20 世 纪 80 年 代 ,，“ 机 器 学 习 ” 开 始 出 现 。 利 用 统计 模型 ， 将 问题 
转化 成 统计 学 概率 分 布 ， 用 这 样 的 概念 去 发 展 人 工 知 能。 使 用 最 多 的 传 
统 方法 为 贝 叶 斯 方法 。 人 工 知 能 在 苹果 机 和 IBM 上 的 应 用 软件 ， 出 现 了 
语音 和 文字 识别 。 与 此 同时 ， 人 工 搭建 的 神经 网 络 也 开始 发 展 起 来 。 科 
学 家 提出 了 强人 工 智 能 和 弱 人 工 乔 能 的 概念 。 强 人 工 智 能 观点 认为 ， 机 
器 是 可 以 有 自己 的 观点 、 知 觉 、 意 识 的 ， 能 够 像 人 类 一 样 思 考 。 弱 人 工 
智能 观点 认为 ， 机 器 不 会 拥有 目 己 的 逻辑 和 意识 。 

从 2010 年 开始 ， 随 看 深度 学 习 技术 的 成 熟 ， 人 工 智 能 开始 逐渐 普 裔 
地 应 用 在 我 们 的 生活 中 。 到 今天 ， 各 行 各 业 开 始 意识 到 人 工 智 能 对 于 行 
业 的 重要 性 ， 并 将 人 工 智 能 的 应 用 和 发 展 提 上 了 日 程 。 如 今 的 人 工 智 能 
技术 ， 除 了 加 深 馆 辑 思 维 的 开 及 ， 更 多 的 是 考虑 到 人 们 生活 的 实际 需 
求 。 如 应 用 在 医学 领域 的 BM 沃 森 系 统 ， 保 密 系 统 的 人 脸 、 声 首 识 别 ， 
网 上 购物 的 推荐 等 。 目 前 这 些 应 用 已 经 在 发 挥 着 自己 的 作用 ， 但 是 依旧 
有 一 些 缺 陷 需要 科学 家 去 解决 ， 优 化 算法 以 得 到 更 准确 的 信息 反馈 ， 提 
局 机 器 的 学 习 能 力 。 

今天 的 人 工 智 能 技术 由 很 多 的 算法 组 成 ， 表 5-1 显 示 了 人 工 智 能 技 
术 的 关键 词语 。 对 于 开发 者 来 说 ， 人 工 乔 能 的 方法 由 很 多 专业 术语 组 
成 ， 随 机 森林 、 机 器 学 习 、 元 逻辑 、 量 子 计算 等 ， 这 些 理论 和 逻辑 推动 
了 人 工 智 能 的 不 断 前 行 。 


表 5-1 人 工 智能 的 术语 
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术 语 
奇 点 机 器 人 机 器 人 三 定律 

消灭 工作 毁灭 人 类 
意识 Alpha Go 
神经 网 络 深度 学 习 

数据 挖 所 知识 图 谱 分 类 

聚 类 预测 回归 

专家 系统 机 器 翻译 
自然 语言 处 理 知识 库 
人 脸 识别 语音 助手 
图 搜索 启发 式 搜索 
模拟 退火 命题 逻辑 
自然 演绎 自动 机 
特征 工程 分 布 式 学 习 
动态 规划 约束 规划 
Protog 程序 Llsp/Scheme/Clojure 语言 
贝 叶 斯 网 络 自动 规划 

高 其 分布 线性 回归 局 域 回归 

生成 模型 辨别 模型 朴素 贝 叶 其 
BP 网 络 核 方法 

和 矩阵 分 解 主 分 量 分 析 PCA 支持 矢量 机 SVM 

















阶段 术语 
马尔 科 夫 随机 场 MRF 框架 问题 决策 树 
随机 森林 感知 器 KNN 学 习 
je 的 | 语言 模型 分 词 实体 识别 
开始 关系 提取 句法 分 析 语义 分 析 
| 篇 章 分 析 情感 分 析 文本 摘要 
TF-IDF 技术 LDA 模型 奥 卡 姆 剃刀 
卷 积 滤波 
二 阶 逻辑 自动 定理 证 明 机 器 人 三 定律 
SAT 问题 CSP 问题 描述 逻辑 
答题 规划 概念 图 RDF/OWL 
概念 修正 因果 分 析 过 程 规则 
推理 解释 前 向 链 推理 反 向 链 推理 
逻辑 归结 模糊 推理 语义 网 
多 AGENT 系统 竞争 神经 网 络 自 组 织 特征 映射 
i 贝 叶 斯 神经 网 络 期 望 最 大 化 图 模型 
开始 理解 分 布 检验 MCMC 采样 Gibbs 采样 
什么 是 AL | 隐 马 尔 可 夫 模 型 HMM | Hopfield 网 络 放射 基 网 络 
规则 学 习 句法 归纳 遗传 算法 
进化 程序 强化 学 习 迁移 学 习 
表示 学 习 继承 学 习 细胞 自动 机 
人 工 生命 卡尔 曼 滤波 傅立叶 变换 
马尔 科 夫 决策 过 程 MDP| 。” 卷 积 神经 网 络 循环 神经 网 络 
对 抗 学 习 提升 方法 排序 学 习 
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术 语 
模型 论 可 能 世界 模型 局 部 请 议论 
范畴 论 Institution 论 推理 复杂 性 
逐渐 远离 人 类 
Wang 拼图 问题 逻辑 规约 情境 论 
模 态 逻辑 时 态 逻 辑 域 态 逻 辑 
时 间 清 算 空间 逻辑 认 知 逻辑 
非 单 调 逻 辑 缺 省 逻辑 值 逻 辑 
Circumscription ( 限界 ) 认 知 机 器 人 分 布 式 推理 
不 动 点 VC 理论 PAC 可 学 习性 
逐渐 远离 人 类 随机 过 程 公理 集合 论 Lambda 测算 
递归 论 效用 论 博 弃 论 
哥 德 尔 不 完备 定理 无 免费 午餐 定理 渐进 逼近 定理 
微分 动力 系统 势 函 数 选择 公理 
流行 学 习 低 维 找 入 变 分 推理 
欢迎 加 入 硅 基 | ” 超 递归 可 枚 举 计算 ”| 不 可 计算 实数 神经 网 络 量子 计算 
计算 认识 论 请 义 信息 论 Epson 
复杂 性 
计算 学 习 理 论 社会 机 器 元 认 知 
外 记忆 心智 扩展 心 物 问题 
自私 的 MeMe 











目前 ， 我 们 的 日 第 生活 中 融入 了 很 多 人 工 智能 技术 。 从 苹果 手机 的 
Siri、 谷 歌 翻 译 、 智 能 家 居 ， 到 金融 行业 反 欺 诈 软件 、 军 事 训练 、 城 市 
交通 等 ， 这 些 人 工 智 能 的 引入 ， 让 我 们 的 生活 更 加 便捷 。 尽 管 有 些 人 工 








智能 还 不 能 完全 做 到 机 器 自行 思考 ， 但 是 已 经 可 以 很 好 地 完成 指令 ， 对 
于 已 知事 件 的 预测 和 执行 的 准确 率 已 经 很 高 了 。 与 人 类 做 对 比 ， 人 工 智 
能 在 某 些 方面 已 经 可 以 超越 人 类 的 思维 。 这 些 人 工 智 能 依靠 大 数据 进行 
学 习 ， 从 而 提高 判断 的 准确 率 。 对 于 小 数据 而 言 ， 人工 智 能 仍然 有 很 大 
的 发 展 空 间 。 在 原 有 的 基础 上 ， 利 用 小 数据 ， 根 据 个 人 的 情况 进行 综合 
的 判断 ， 这 样 的 人 工 智 能 会 更 加 贴近 人 们 的 生活 。 探 寻 和 训练 人 工 智 能 
在 个 体 数 据 和 小 整体 上 的 优化 可 为 未 来 的 发 展 提供 方向 详 见 图 5- 
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图 5-1 人 工 智能 的 未 来 蓝图 


二 、 谁 控制 了 小 数据 谁 才 征 局 家 


(一 ) 无 人 驾驶 系统 : 小 数据 应 用 的 新 战场 


2014 年 ， 特 斯 拉 公 司 开始 使 用 Autopilot 辅 助 驾 驶 软件 。 这 款 软件 是 
安装 在 车 里 、 辅 助 驾驶 员 行 驶 的 软件 ， 通 过 收集 路 面 信息 来 进行 车 速 的 
控制 ， 避 免 磁 接 和 打滑 。 虽 然 安 装 了 这 个 系统 ， 但 是 仍然 需要 人 来 进行 
控制 ， 并 对 周围 的 环境 有 所 警觉 和 提醒 。 尽 管 2016 年 装 有 这 款 系统 的 汽 
车 发 生 了 一 起 严重 事故 ， 但 是 经 过 对 比 ， 装 有 这 款 人 工 智能 控制 系统 的 
汽车 出 现 事故 的 概率 确实 降低 了 。 这 说 明 人 工 智能 对 车 辆 行驶 的 安全 性 
提高 了 很 多 ， 为 未 来 汽车 驾驶 软件 的 制造 提供 了 样板 。 

2015 年 7 月 20 日 ， 美 国 密 鞭 根 大 学 与 密 鞭 根 政府 及 社区 合作 ， 在 密 
歌 根 大 学 设立 了 一 个 全 新 的 模拟 城市 Mcity (如 图 5-2 所 示 》， 这 是 一 个 
占 地 32 英 亩 约 194 亩 》 的 模拟 城市 。 在 这 个 模拟 城市 中 ， 密 葡 根 大 学 
希望 能 够 进行 试验 ， 以 改善 地 区 的 交通 安全 、 效 率 以 及 可 持续 性 。 
Mcity 因 此 成 为 了 世界 上 第 一 个 受到 控制 的 环境 ， 在 这 样 的 城市 中 ， 主 
要 用 于 测试 连接 和 自动 化 车 辆 的 技术 。 
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图 5-2 密歇根 大 学 无 人 驾驶 Micity 试 验 场地 说 明 图 


Mcity 中 有 我 们 非常 熟悉 的 城市 交通 特征 ， 如 交叉 路 口 、 铁 路 道 、 
两 个 回旋 处 、 砖 石 路 和 停车 位 等 ， 还 有 模拟 的 高 速 公 路 入 口 、 坡 道 、 人 
行道 、 金 属 桥 和 隧道 。 这 些 对 于 无 人 罗 驶 技术 来 说 都 是 至 关 重 要 的 ， 尤 
其 是 在 考验 传感器 性 能 和 敏感 度 方 面 。 与 此 同时 ， 除 了 应 用 和 改善 无 人 
四 驶 技术 ， 检 测 传感器 的 灵敏 和 应 用 程度 ， 该 试验 还 希望 能 够 测试 所 谓 
的 连接 车 辆 。 这 些 连接 的 汽车 或 者 设施 之 间 可 以 进行 相互 通信 ， 从 而 在 
事故 发 生前 停止 汽车 行进 。 对 所 有 的 障碍 物 、 桥 染 、 行 人 ， 我 们 都 能 想 
象 成 一 个 个 不 同 的 信号 。 当 车辆 行进 时 ， 这 些 物体 可 以 告诉 汽车 ， 前 方 
有 障碍 、 有 冰雪 ， 可 能 会 出 现 车 辆 打滑 、 碰 撞 的 危险 ， 这 样 的 信号 传输 
让 车 辆 能 够 在 极 短 的 时 间 里 做 出 避让 的 决 岳 和 反应 。 


在 测试 中 ， 汽 车 行驶 的 速度 并 不 算 高 ， 人 、 和 车 的 传 感 占 反应 比较 灵 


























敏 。 由 于 密歇根 的 气候 原因 ，Mcity 可 以 在 雨 、 雪 甚至 是 龙卷风 、 暴 风 
雪 等 极端 天 气 的 情况 下 进行 测试 ， 对 于 无 人 驾驶 汽车 的 性 能 提升 有 很 大 
的 帮助 。 

2017 年 秋天 ， 无 人 鸭 驶 汽车 已 经 在 校园 之 间 提 供 校车 服务 。 麦 卡 锡 
机 械 工程 学 院 的 教授 表示 , “这 个 在 校园 内 进行 的 自动 化 班车 服务 是 一 
个 关键 的 研究 项 目 ， 它 将 帮助 我 们 了 解 这 种 移动 服务 所 带 来 的 挑战 和 机 
遇 ， 以 及 人 们 如 何 与 之 进行 互动 。 校 车 将 增加 U-M 繁 忙 的 校园 巴士 服 
务 ， 提 供 另 一 种 行动 选择 ”。 校 车 目前 已 在 密歇根 大 学 的 北 校 区 和 中 校 
区 运行 ， 车 程 大 约 15 分 钟 。 

根据 设想 ，Mecity 还 有 跟踪 乘客 和 使 用 模式 ， 对 用 户 的 经 验 进 行 调 
查 ， 收 集 的 数据 将 有 助 于 研究 人 员 了 解 如 何 设计 更 安全 的 车 辆 以 及 如 何 
更 有 效 地 操作 和 它们。 想象 一 下 ， 当 学 生 和 教师 坐 在 车 上 ， 只 需 告知 汽车 
目的 地 ， 汽 车 会 自主 地 规划 行进 路 线 ， 根 据 多 维 的 数据 信息 进行 处 理 ， 
安全 、 快 速 地 送 学 生 和 教师 到 达 目 的 地 。 


除了 作为 校车 ， 这 样 的 无 人 敬 驶 技术 在 物流 等 行业 也 可 以 有 很 大 的 
发 展 ， 可 以 增加 城市 的 流动 性 。 比 如 ， 在 安娜 堡 市 ， 超 市 与 学 生 公寓 的 
距离 相当 远 ， 学 生 在 没有 汽车 的 情况 下 ， 坐 公交 车 需要 30~40 分 钟 才能 
到 达 超 市 。 从 超市 回来 ， 不 但 需要 大 量 的 时 间 ， 还 需要 大 量 的 空间 才能 
满足 放下 货物 的 需要 。 如 宋 需 要 购买 一 些 大 件 丙 品 ， 那 么 公共 汽车 就 没 
有 办 法 满足 这 样 的 需求 了 。 无 人 驾驶 汽车 可 以 派 专 人 在 超市 提取 货物 ， 
然后 输入 终点 方位 ， 规 划 路 线 ， 那 么 学 生 在 家 门口 就 可 以 领取 目 己 想 要 
的 物品 了 。 这 样 的 无 人 驾驶 货运 汽车 ， 可 以 更 加 安全 便捷 地 提供 服务 。 
































(二 ) 城市 规划 : 从 信息 到 大 数据 再 到 小 数据 





城市 规划 是 对 一 个 城市 就 经 济 结构 、 空 间 结构 、 社 会 结构 的 未 来 友 
展 、 合 理 布局 而 建立 的 工程 部 获 。 在 一 座 城市 中 有 不 同 的 功能 区 域 ， 在 
不 同 的 功能 区 域 中 建立 相应 的 设施 ， 以 完善 城市 的 功能 。 一 座 城市 的 布 














局 有 很 多 的 条 件 和 限制 ， 如 地 理 环境 、 人 文 条 件 、 经 济 发 展 等 ， 它 能 有 
效 地 协调 这 些 客观 的 条 件 ， 优 化 当地 的 城市 空间 布局 ， 提 供 更 方便 的 生 
活 。 除 了 有 具体 的 功能 区 和 合理 布局 ， 还 兼备 艺术 性 。 如 今 的 城市 大 都 是 
己 经 发 展 起 来 的 。 当 我 们 需要 建立 新 的 功能 区 域 的 时 候 ， 目 的 是 合理 地 
选择 位 置 、 改 善 周围 拷 民 的 生活 水 平 ， 这 就 需要 我 们 通过 大 量 的 数据 和 
分 析 来 得 到 最 优化 的 答案 。 比 如 类 国 的 芝加哥 市 ， 作 为 全 美 经 济 和 人 口 
排名 第 三 的 城市 ， 是 美国 在 1909 年 第 一 个 做 出 的 整体 城市 规划 的 城市 

《如 图 5-3 所 示 ) 。 依 托 东 部 密歇根 湖 建 设 的 国运 绿地 系统 ， 在 城市 内 
部 形成 防护 绿化 圈 ， 对 于 铁路 和 公共 交通 的 环形 设计 实现 多 方 的 快速 连 
接 ， 而 城市 主干 道 的 拓宽 以 及 对 城市 放射 性 道路 、 河 畔 快速 路 的 建设 有 
效 地 缓解 了 大 城市 交通 拥 堵 的 冶 病 ， 中心 商务 区 和 其 他 区 域 规划 让 乏 加 
可 功能 区 分 散 ， 尺 量 绥 解 区 域 发 展 的 不 平衡 。 
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SAN Ne i | 有 
图 5-3 芝加哥 城市 规划 百年 对 比 图 
在 规划 城市 的 时 候 ， 为 了 能 够 更 好 地 确定 城市 的 布局 ， 相 应 数据 的 





可 视 化 效果 可 以 起 到 非常 重要 的 作用 。 通 过 对 相应 数据 的 识别 ， 对 地 
图 、 照 片上 建筑 的 定位 和 识别 来 获得 所 需要 的 信息 ， 转 化 成 为 可 视 化 效 
朵 ， 通 过 晤 加 ， 利 用 计算 机 来 得 到 最 优化 的 布局 。 








(三 ) 医疗 行业 :需要 更 多 的 小 数据 和 逻辑 算法 








医疗 行业 一 直 古 专业 度 极 高 的 领域 。 在 医学 院 中 ， 学 生 要 学 习 的 专 
业 术语 、 准 确 操 作 技 术 非 常 多 。 除 了 学 习 理 论 知 识 、 实 际 操作 以 外 ， 学 
生还 需要 经 过 在 医院 的 实习 ， 了 解 大 量 的 病例 后 才能 最 终 成 为 一 名 医 
生 。 而 从 医 多 年 的 医生 拥有 的 丰富 经 验 让 他 们 对 于 患者 疾病 的 判断 和 党 
疗 方法 有 极 高 的 准确 性 。 这 些 技能 保证 了 医生 在 行医 的 过 程 中 能 更 好 地 
为 患者 提供 服务 。 但 是 如 果 将 这 些 数据 资料 都 用 人 工 智 能 来 记忆 存储 ， 
然后 进行 分 析 学 习 ， 最 后 给 出 专业 的 意见 呢 ? 那 是 不 是 就 可 以 更 快 地 为 
患者 提供 服务 并 且 能 够 提高 诊断 的 准确 率 呢 ? 

随 着 人 工 智 能 的 发 展 和 整体 水 平 的 提高 ， 人 们 开始 建造 人 工 智能 机 
俐 对 疾病 进行 诊断 。 第 一 部 分 ， 是 对 语言 的 处 理 ， 让 机 咒 能 够 听 民 患者 
所 描述 的 情形 。 第 二 部 分 ， 是 对 机 需 进 行 长 期 的 训练 ， 让 机 器 中 有 大 量 
数据 的 存在 和 记忆 ， 从 而 利用 机 器 的 分 析 能 力 ， 对 患者 进行 诊断 。 而 对 
于 医疗 影像 ， 比 如 ， 心 电力、 放射性 照片 识别 的 效率 和 精准 度 方面 ， 人 
工 智 能 确实 超过 了 专业 的 医生 。 利 用 人 工 智 能 对 于 图 像 的 识别 ， 可 以 降 
低 人 为 操作 的 误 判 率 。 除 了 在 诊断 阶段 可 以 利用 人 工 知 能， 现在 还 可 以 
用 人 工 符 能 去 模拟 和 检 训 药物 ， 对 于 药物 进入 人 体 之 后 的 变化 ， 人 工 智 
能 也 可 以 给 出 分 析 。 

医疗 健康 中 ， 还 包括 精神 健康 、 健 康 管理 、 和 营养 学 、 生 物 技术 等 ， 
这 些 可 以 帮助 我 们 提高 自身 的 生活 水 平和 健康 水 平 ， 及 时 发 现 身 体 健康 
方面 的 问题 和 隐患 ， 从 而 进行 预防 。 


2014 年 上 映 的 电影 《 超 能 陆 战 了 从》 讲述 的 束 是 医疗 机 器 人 的 故事 。 
天 才 神 重 Hiro《〈 阿 宽 ) 的 哥哥 给 第 第 制造 了 一 于 能 够 诊断 疾病 的 机 此 














人 “大 日 ”〈 如 图 5-4 所 示 ) ， 这 个 机 器 人 可 以 通过 对 人 体 的 扫描 来 确认 
受伤 的 部 位 。 除 了 生理 上 的 健康 问题 ， 还 可 以 通过 观察 和 测试 对 心理 上 
的 疾病 进行 全 面 的 诊断 和 治疗 。 在 哥哥 去 世 之 后 ， 大 白 对 Hiro 的 心理 疾 
病 提供 了 多 种 治疗 方法 直到 Hiro 痊 愈 。 在 这 个 过 程 中 ， 大 白 还 学 习 人 类 
的 行为 模式 ， 分 辩 和 处 理 有 用 的 信息 。 


自 2007 年 开始 ，IBM 开 始 研发 机 器 人 医生 沃 森 (Watson) ， 为 了 提 
高 其 对 于 医疗 系统 的 分 析 能 力 ， 还 同时 收购 了 两 家 医疗 分 析 公 司 ， 这 个 
技术 主要 应 用 在 分 析 癌 症 病例 方面 。 沃 森 通 过 学 习 海 量 的 数据 和 病人 的 
资料 ， 在 数 分 钟 之 内 诊断 病情 ， 但 是 这 项 技术 并 不 是 那么 容易 就 能 够 使 











用 的 。2015 年 ， 沃 森 与 休斯顿 癌症 治疗 机 构 M.D. 安 德 森 中 心 停止 了 合 
作 ， 主 要 是 因为 沃 森 不 能 带 来 更 准确 的 诊断 方案 。 人 工 智能 需要 学 习 大 
量 的 样本 和 数据 ， 还 需要 通过 长 时 间 的 训练 ， 但 是 这 些 数 据 本 身 就 很 难 
得 到 ， 很 多 疑难 病例 的 数据 很 紧缺 或 者 难以 进行 访问 。 未 来 对 于 人 工 智 
能 的 医疗 应 用 还 需要 更 多 的 数据 和 逻辑 算法 进行 文 持 。 





(四 ) 智 惑 政府 和 乔 惑 金融; 聚焦 大 数据 和 小 数据 


随 着 互联 网 的 发 展 ， 人 们 的 “ 脑 洞 "也 越 来 越 大 。 在 各 行 各 业 ， 人 们 


都 希望 能 有 更 便捷 的 工作 方式 。 利 用 现 有 的 信息 技术 ， 在 监管 、 服 务 、 
决策 和 办 公 方 面 将 传统 办 公 室 依靠 人 工 记录 的 手段 变 成 电子 信息 的 储 
存 ， 更 快 更 好 地 评价 和 监管 业务 人 员 的 行为 ， 可 以 由 系统 目 主 地 解决 一 
些 问题 ， 提 高 办 事 效率 。 对 于 公安 系统 、 道 路 交通 系统 ， 可 以 通过 联网 
更 快 地 抓 捕 逃犯 、 预 测 和 预防 灾害 发 生 ， 整 体 的 区 域 规划 和 政府 工作 进 
展 也 可 以 通过 人 工 智 能 的 手段 来 实施 。 

除了 政府 ， 学 校 也 在 逐渐 地 使 用 人 工 知 能。 北京 市 的 体育 考试 中 ， 
学 生 的 测试 成 绩 不 再 由 人 工 进行 记录 (如 图 5-5 所 示 ) 。 每 一 位 考生 的 
个 人 信息 、 报 名 信息 都 储存 在 系统 中 ; 每 一 个 项 目录 入 的 时 候 ， 都 使 用 
人 脸 识别 系统 ， 摄 像 机 捕捉 到 画面 之 后 ， 考 务 员 即 可 看 到 相应 的 信息 ; 
缺 考 或 者 补考 信息 也 会 在 系统 中 自动 生成 。 在 每 一 项 测试 中 ， 使 用 不 同 
的 传感器 记录 考生 的 速度 、 时 间 、 位 移 和 整体 的 行为 ， 之 后 自动 生成 成 
绩 并 上 传 到 网 络 上 ， 保 证 了 信息 的 准确 性 ， 也 减少 了 考 务 员 的 工作 量 。 
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图 5-5 体育 考试 仪器 敏感 测试 


智 意 金融 ， 依 靠 互 联网 技术 ， 使 用 人 工 智能 、 大 数据 、 区 英 链 等 科 
技 手 段 开 展 金融 业务 。 智 意 金 融 的 产生 ， 让 金融 行业 在 风险 控制 、 丈 活 
高 效 、 便 捷 安 全 等 方面 有 了 显著 提高 。 对 于 客户 来 说 ， 智 慧 金融 可 以 更 
好 地 为 客户 提供 即时 的 服务 ， 不 用 受 限 于 时 间 ; 在 投资 方面 可 以 更 准确 
更 直观 地 进行 对 比 ， 让 客户 有 更 好 的 体验 和 更 小 的 风险 。 


在 证 券 交 易 当 中 ， 量 化 交易 已 经 被 广泛 地 应 用 在 交易 系统 当中 。 证 
券 分 析 师 通过 观察 数据 分 布 ， 束 能 编写 函数 设计 模型 。 这 些 数据 通过 分 
析 、 拟 合 ， 可 以 用 来 预测 证 券 价格 未 来 的 走势 。2007 年 ， 逆 势 研 究 
(Rebellion Research) 资产 管理 公司 推出 了 第 一 个 基于 贝 叶 斯 模型 的 机 
器 学 习 系 统 ， 结 合 预 测 方 法 来 进行 交易 ， 这 个 系统 对 于 历史 信息 和 新 信 
恩 进 行 处 理 、 预 测 ， 从 而 构造 投资 组 合 。 这 套 系 统 可 以 对 全 球 44 个 国家 
的 股票 、 债 券 、 大 宗 商 品 等 进行 交易 。 理 港 的 Aidyia 公 司 也 使 用 了 多 种 
人 工 智 能 的 算法 ， 结 合 宏观 经 济 数据 ， 对 美股 进行 走势 分 析 。 

投资 顾问 对 于 投资 者 的 评估 一 般 是 比较 复杂 的 ， 要 结合 其 自身 的 风 
险 承 受 能 力 、 投 资 偏好 以 及 个 人 的 资产 状况 等 多 种 信息 进行 分 析 ， 从 而 
帮助 投资 者 决定 投资 方 铝 ， 在 服务 上 也 需要 耗费 大 量 的 时 则 和 精力 。 吞 
能 投资 顾问 可 以 借助 机 器 的 量化 分 析 ， 为 投资 者 量 身 定做 投资 配置 ， 并 
且 能 够 定期 地 监控 这 些 投资 组 合 的 走势 ， 为 投资 者 提供 实时 的 服务 。 个 
性 化 的 资产 配置 可 以 为 双方 带 来 利益 ， 比 如 ， 亮 信 理 财 (Charles 
Schwab)〉 推 出 的 智能 投 顾 产品 ， 束 是 利用 蒙特 卡 洛 模拟 对 市 场 的 投资 组 
合 进行 动态 跟踪 来 确定 和 调节 资产 配置 的 平衡 。 


日 本 福冈 保险 公司 (Fukoku Mutual Life) 使 用 了 IBM 的 沃 森 系 统 来 
同 投 保 推荐 产品 。 人 工 智 能 系统 不 仅 可 以 根据 个 人 条 件 和 特定 算法 计算 
设计 产品 ， 还 可 以 帮助 保险 公司 检测 欺诈 案件 。 在 英国 ， 每 天 都 有 约 
300 起 的 保险 诈骗 案件 ， 这 个 数字 是 巨大 的 ， 人 工 智能 系统 可 以 通过 学 
习 已 经 认定 的 保险 欺诈 案 件 ， 对 事实 和 政策 进行 对 比 ， 几 分 钟 内 就 可 以 



































完成 检测 。 此 外 ， 人 工 智 能 还 可 以 通过 物 联网 和 可 穿戴 设备 等 办 法 ， 为 
投保 人 设计 个 性 化 的 产品 。 


三 、 用 小 数据 也 能 机 顶 学 习 


(一 ) 学 习 与 机 器 学 习 


学 习 ， 这 个 词语 涵盖 了 广泛 的 定义 。 字 上 典 定 义 包括 诸如 “通过 学 
习 、 指 导 或 经 验 获 得 知识 、 理 解 或 技能 *。 人 类 通过 学 习 或 者 经 验 来 获 
得 知识 、 理 解 、 技 能 其 至 是 情感 。 我 们 在 学 习 中 了 解 事物 发 展 的 规律 ， 
获得 专业 的 技能 ， 为 生活 和 社会 提供 不 同 的 价值 。 机 器 学 习 是 类 似 仿生 
学 一 样 的 学 科 。 人 类 硕 望 机 器 拥有 学 习 能 力 ， 像 人 类 一 样 在 获取 大 量 知 
识 、 大 量 数 据 之 后 ， 可 以 对 这 些 数 据 进行 提取 、 整 理 和 分 析 。 通 过 不 断 
的 训练 、 不 断 累 积 样本 ， 让 机 器 对 未 知 的 结果 进行 判断 。 这 些 经 验 和 数 
气 输 入 机 喜 当 中 让 机 需 赁 借 其 运算 速度 快 、 存 储量 大 的 特点 ， 得 到 更 加 
准确 的 结果 。 


我 们 谈论 人 工 乔 能 的 时 候 ， 不 可 忽略 实现 人 工 智能 的 方法 。 弱 人 工 
智能 要 求 的 不 是 自主 学 习 而 是 对 输入 信息 的 一 种 反馈 。 专 家 设 定 一 定 的 
程序 ， 安 装 在 系统 中 ， 然 后 在 使 用 系统 的 时 候 ， 我 们 给 予 指令 ， 后 者 进 
行 有 反馈 。 但 是 强人 工 智能 要 求 的 是 ， 让 机 占 在 学 习 之 后 能 够 自主 地 思 
考 ， 从 而 能 够 帮助 人 类 完成 甚至 能 够 超越 人 类 的 思维 去 完成 项 目 。 从 最 
早 的 符号 学 ， 到 现在 的 量子 计算 ， 都 是 在 实现 人 工 智 能 的 过 程 中 不 断 探 
索 。 目 前 ， 用 得 最 多 的 就 是 机 器 学 习 方法 。 我 们 依赖 于 机 融 学 习 是 因为 
有 些 任务 无 法 被 定义 ， 我 们 要 的 不 是 简单 的 输入 和 输出 的 对 等 天 系 ， 我 
们 希望 机 器 能 够 通过 大 量 的 样本 输入 ， 能 够 在 其 中 找到 隐 含 的 关系 ， 从 
而 得 到 更 加 准确 的 输出 。 像 我 们 说 到 的 数据 挖掘 ， 就 是 从 大 量 的 数据 中 
找到 可 能 隐藏 的 重要 的 相关 性 信息 ， 从 大 量 的 信息 中 提取 出 这 些 有 用 信 
晨 ， 过 滤 掉 干扰 项 。 














总 体 来 说 ， 机 器 学 习 是 一 门 涵盖 了 多 领域 的 学 科 ， 其 中 使 用 的 方法 
包括 统计 学 、 概 率 论 、 山 分 析 、 算 法 复杂 上 度 等 。 这 些 算法 应 用 在 人 工 智 
能 的 各 个 领域 ， 为 其 提供 归纳 和 总 结 。 机 器 学 习 如 今 大量 应 用 在 心理 
学 、 生 物 学 、 数 学 、 统 计 学 、 遗 传 算法 等 学 科 中 。 对 于 机 器 学 习 的 定 
义 ， 学 界 有 很 多 不 同 的 说 法 ，Tom Mitchell (汤姆 : 米 切 尔 ) 的 《机 器 学 
习 》 一 书 对 信息 论 中 的 一 些 概 念 有 详细 的 解释 ， 其 中 定义 机 器 学 习 时 提 
到 , “机 器 学 习 是 对 能 通过 经 验 自 动 改进 的 计算 机 算法 的 研究 ”。 











(二 ) 机 器 学 习 : 从 样本 中 学 习 的 智能 程序 


机 器 学 习 (Machine Leaming) 的 方法 分 为 : 有 监督 学 习 、 无 监督 
学 习 和 表征 学 习 。 

(1) 有 监督 学 习 是 指 ， 在 给 出 的 样本 中 ， 需 要 给 出 标准 答案 。 在 
以 后 的 学 习 过 程 中 ， 机 器 根据 给 定 的 标准 答案 去 寻找 新 数据 与 标准 答案 
的 相似 性 。 这 种 相似 性 越 强 ， 样 本 就 越 接 近 标 准 答案 ， 效 果 越 好 。 这 样 
的 学 习 给 出 的 答案 一 般 不 会 太 复杂 ， 比 如 ， 对 或 者 错 ， 然 后 一 点 一 点 登 
加 样本 的 数量 ， 通 过 大 量 的 训练 提高 机 器 的 学 习 能 力 和 正确 率 《〈 如 图 5- 
6 所 示 ) 。 


(2) 无 监督 学 习 是 指 不 去 人 为 地 给 出 一 个 标准 答案 。 在 数据 样本 
输入 机 器 中 的 时 候 ， 只 按照 茶 些 特征 去 分 离 ， 然 后 让 机 器 上 自己 去 寻找 特 
殊 的 特征 。 这 样 学 习 的 特点 是 需要 降 维 ， 数 据 一 般 古 多 维度 的 。 当 这 些 
数据 输入 的 时 候 ， 其 中 可 能 有 很 多 是 不 需要 的 ， 这 些 干 扰 选 项 需要 通过 
降 维 将 其 去 除 ， 从 而 得 到 一 些 高 质量 的 数据 ， 并 进行 处 理 。 


(3) 表征 学 习 是 指 通过 不 同 的 形式 来 表达 数据 和 解释 问题 。 
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测试 数据 
( 需 标记 的 文本 语料库 ) 


图 5-6 机 器 学 习 的 过 程 





(三 ) 深度 学 习 : 从 大 数据 中 学 习 


深度 学 习 (Deep Learmning)〉 是 机 器 学 习 中 的 一 种 ， 这 个 概念 来 自 对 
人 类 神经 网 络 的 研究 ， 用 以 表达 和 发 现 更 深层 次 的 特征 和 树 形 。 深 上 度 学 
习 主 要 是 对 事物 的 表征 进行 学 习 。 深 上 度 学 习 希 望 能 够 模拟 人 脑 ， 多 层次 
地 去 理解 文字 、 图 像 、 声 音 的 信息 ， 从 而 提取 不 同 层 次 的 信息 。 通 过 模 
拟人 脑 对 于 信息 在 神经 元 之 间 的 传递 ， 看 穿 深度 的 信息 。 比 如 ， 手 机 中 
的 语音 识别 功能 、 图 像 识别 功能 ， 都 是 深度 学 习 的 结果 。 深 度 学 习 有 的 
时 候 会 加 入 过 多 的 参数 ， 因 为 其 结构 复杂 ， 考 上 处 的 事项 很 多 ， 所 以 需要 
对 数据 进行 筛选 ， 留 下 有 用 的 数据 ， 否 则 就 变 成 了 过 度 拟 合 的 结果 ， 反 
而 不 利于 应 用 。 








《四 ) 强化 学 习 : 从 经 验 中 增强 





强化 学 习 (Reinforcement Learning) ， 又 称 增强 学 习 、 再 励 学习 、 
评价 学 习 ， 是 一 种 重要 的 机 器 学 习 方法 ， 在 智能 控制 机 器 人 及 分 析 预 测 
等 领域 有 许多 应 用 。 所 谓 强 化 学 习 就 是 智能 系统 从 环境 到 行为 映射 的 学 
习 ， 以 使 奖励 信号 《〈 强 化 信号 ) 函数 值 最 大 。 强 化 学 习 不 同 于 连接 主义 








学 习 中 的 监督 学 习 ， 主 要 表现 在 强化 信号 上 ， 强 化 学 习 中 由 环境 提供 的 
强化 信号 是 对 产生 动作 的 好 坏 做 一 种 评价 (通常 为 标量 信号 ) ， 而 不 是 
告诉 强化 学 习 系 统 (Reinforcement Learning System，RLS) 如 何 去 产 生 
正确 的 动作 。 由 于 外 部 环境 提供 的 信息 很 少 ，RLS 必 须 靠 自身 的 经 历 进 
行 学 习 。 通 过 这 种 方式 ，RLS 在 行动 评价 的 环境 中 获得 知识 ， 改 进行 动 
方案 以 适应 环境 。 

学 习 从 环境 状态 到 行为 的 映射 ， 使 乔 能 体 选 择 的 行为 能 够 获得 环境 
最 大 的 奖 沉 ， 外 部 环境 对 学 习 系 统 在 某 种 意义 下 的 评价 (或 整个 系统 的 
运行 性 能 ) 为 最 佳 。 




















(五 ) 迁移 学 习 : 用 小 数据 也 能 学 习 


迁移 学 习 (Transfer Learning) 是 指 在 机 器 训练 中 产生 的 数据 标定 
会 发 生 无 法 使 用 的 情况 。 在 此 情况 下 ， 重 新 标定 训练 数据 可 能 会 使 这 些 
数据 失去 意义 和 时 效 性 ， 迁 移 学 习 可 以 挑选 旧 数 据 中 有 用 的 加 入 新 的 数 
据 中 成 为 新 的 训练 模型 。 

迁移 学 习 ， 可 以 算 成 半 监 督学 习 ， 给 定 一 些 特 征 和 少量 样本 ， 这 些 
标定 的 样本 数量 较 小 ， 但 是 有 大 量 的 不 确定 样本 ， 可 以 利用 已 有 的 样本 
对 这 些 不 确定 的 样本 进行 学 习 分 类 。 


四 、 会 学 习 的 小 数据 更 踢 大 


(一 ) 翻译 软件 : 一 点 红 解 无 边 春 


2016 年 ， 震 动 全 球 的 AlphaGo 软 件 ， 它 在 围棋 领域 打败 了 世界 排名 
第 一 的 人 类 围棋 选手 ， 成 为 首 个 击败 人 类 大 师 的 人 工 智 能 产品 。 
AlphaGo 结 合 了 三 大 技术 : 先进 的 搜索 算法 、 机 器 学 习 算法 (强化 学 
习 ) 以 及 深度 神经 网 络 。 此 三 大 技术 的 关系 为 : 蒙特 卡 洛 树 搜 索 
(MCTS) 是 大 框架 ， 是 许多 博弈 AI 都 会 采用 的 算法 ， 强 化 学 习 (RL) 
是 学 习 方 法 ， 用 来 提升 AI 的 实力 ; 深度 神经 网 络 (DNN) 是 工具 ， 用 
来 拟 合 局 面 评估 函数 和 策略 函数 ， 这 种 神经 系统 网 络 目 前 在 翻译 器 中 得 
到 了 很 好 的 使 用 。 

谷歌 翻译 作为 谷歌 公司 的 一 款 在 线 翻译 工具 〈 如 图 5-7 所 示 ) ， 已 
经 推出 十 年 之 入， 能 够 翻译 100 多 种 语言 ， 甚 至 可 以 识别 餐 单 和 方言 ， 
成 为 最 受 全 球 人 民 喜 爱 的 翻译 工具 之 一 。 几 年 以 前 ， 我 们 在 使 用 翻译 器 
翻译 内 容 时 ， 经 常 发 现 完全 看 不 懂 翻 译 出 来 的 是 什么 ， 可 以 说 翻译 器 基 
本 上 就 是 把 每 一 个 词 在 对 应 的 位 置 上 摆 出 来 ， 再 加 上 一 点 简单 的 逻辑 ， 
比如 ， 主 语 、 谓 语 、 宾 语 的 位 置 不 会 出 错 。 网 上 盛传 着 一 个 笑 
话 , “How old are you”? 翻译 为 “怎么 老 是 你 ”? 这 是 个 笑话 ， 但 是 也 多 
少 说 明了 这 个 问题 。 那 个 时 候 的 翻译 系统 并 没有 按照 人 类 的 思维 逻辑 去 
进行 。 今 天 ， 再 次 用 这 款 软 件 翻译 一 大 段 话 的 时 候 ， 我 们 能 发 现 ， 一 段 
话 基本 的 逻辑 没有 错 ， 只 是 有 个 别 的 专业 术语 和 长 句子 有 轻微 的 逻辑 问 
题 。 谷 歌 翻译 的 准确 率 较 以 往 的 结果 提高 了 不 少 ， 甚 至 已 经 能 够 注意 到 
语序 、 语 意 甚至 语气 。 
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4) 465/5000 
图 5-7 谷歌 翻译 软件 的 翻译 示范 


谷歌 的 翻译 系统 对 翻译 进行 了 神经 网 络 的 机 器 学 习 ， 人 谷歌 神经 网 络 
翻译 〈Google Neural Machine Translation，GNMT) 系统 可 以 有 效 提升 
单 句 翻译 效率 。 众 歌 工 程 师 研究 团队 发 现 ， 这 种 算法 在 处 理 整个 句子 时 
非常 有 效 ， 可 以 将 错误 率 减 少 60% 左 右 ; 而 且 ， 访 系统 还 能 够 及 时 地 调 
整 翻译 的 准确 度 。 


根据 谷歌 的 说 法 ， 新 型 翻译 模式 的 翻译 错误 率 可 降低 55%~85%。 
而 此 前 的 系统 是 逐 字 逐 词 地 翻译 ， 准 确 性 较 差 。 在 一 次 语言 精确 度 测 试 
中 ， 人 谷歌 翻译 的 旧 模式 得 到 了 3.6 分 〈 满 分 是 6 分 ) ， 而 GNMT 翻 译 结果 
则 得 了 5 分 ， 略 低 于 人 力 翻 译 的 平均 得 分 5.1 分 。GNMT 的 底层 结构 为 一 
个 长 短期 记忆 网 络 ， 工 作 模 式 与 人 类 的 记忆 模式 类 似 ， 和 常规 的 翻译 算法 
是 将 一 个 句子 分 成 各 个 单词 ， 这 些 单词 再 与 字典 配对 ，GNMT 则 与 常规 
使 用 的 基于 单词 的 翻译 系统 (PMBT) 不 同 ， 它 能 够 有 效 地 进行 “ 记 





忆 ” 一 个 句子 的 始终 并 分 析 整 句 话 或 者 整 段 话 ， 再 通过 机 器 学 习 进 行 翻 
译 。 因 此 谷歌 翻译 残 能 够 进行 双 癌 处 理 : GNMTI 分 解 单词 的 意思 ， 进 而 
再 整合 到 句法 成 分 之 中 ， 最 后 再 将 此 结果 翻译 成 男 外 一 种 语言 。 

根据 我 们 使 用 数字 化 产品 的 经 验 ， 新 一 代 产 品 的 升级 必定 会 带 来 其 
他 方面 的 问题 ， 如 运行 速度 、 占 用 运行 内 存 等 。 谷 歌 新 型 翻译 模式 的 翻 
译 速 度 从 历史 的 角度 来 看 并 不 是 很 快 ， 但 是 谷歌 利用 了 一 些 技术 极 大 地 
提升 了 翻译 速度 ， 神 经 网 络 采 用 分 层 计 算 方 式 ， 利 用 谷歌 专业 化 人 工 知 
能 优化 计算 机 将 片 所 提供 的 处 理 能 力 来 强化 目 己 的 翻译 效率 。 这 样 ， 此 
前 需要 10 秒 钟 翻译 完 的 句子 ， 如 今 只 需要 300 军 秒 葡 够 了 。 

当然 ， 谷 歌 的 翻译 系统 还 没有 达到 十 全 十 美的 程度 ， 甚 至 会 犯 下 许 
多 人 力 永 远 不 可 能 犯 的 错误 ， 如 遗漏 单词 、 错 译 人 名 或 罕见 的 术语 等 ， 
甚至 偏离 了 整个 句 意 而 没有 根据 上 下 文 翻译 句子 的 真实 意思 。 不 过 ， 对 
于 GNMT 翻 译 系统 的 培训 将 会 不 断 改进 谷歌 翻译 产品 的 准确 紊 与 速率 。 























(二 ) 关联 推荐 以 数 言 而 统 万 象 


网 购 是 目前 青年 人 必 不 可 少 的 活动 之 一 。 当 你 在 网 购 心 仪 的 商品 
时 ， 有 没有 注意 过 在 网 页 的 共处 会 出 现 类 似 商品 的 推荐 ? 或 者 在 你 浏览 
网 页 的 时 候 ， 一 些 网 页 的 广告 竟然 在 推荐 你 前 天 运用 搜索 引擎 搜索 过 的 
商品 ? 或 许 你 会 觉得 这 样 的 推荐 很 人 性 化 ， 但 是 并 没有 深思 过 这 样 的 现 
象 是 如 何 出 现 的 ， 这 与 我 们 的 人 工 智 能 与 机 器 学 习 也 是 密 不 可 分 的 。 

比如 ， 要 在 亚马逊 上 给 仓 妇 买 党 子 ， 输 入 的 关键 词 是 : 两 层 、 透 
明 、 全 僚 。 搜 索 出 来 各 式 各 样 的 基本 符合 要 求 的 笼子 ， 然 后 ， 打 开 几 个 
我 认为 比较 合适 的 笼子 ， 对 比 之 后 最 终 选 择 了 一 球 买 了 下 来 。 接 下 来 几 
天 ， 当 我 再 次 打开 亚马逊 的 时 候 ， 发 现下 面 窗 口中 弹出 了 一 些 仓鼠 床 
铺 、 食 物 、 玩 具 ， 尤 其 是 可 以 安装 在 购买 的 笼子 上 的 一 些 吊 床 等 。 过 了 
一 段 时 间 ， 我 发 现 亚马逊 又 推荐 了 一 些 跟 我 买 的 党 子 很 像 的 新 亚 ， 它 们 
包含 更 多 的 功能 ， 而 且 有 一 些 质 量 和 评价 都 很 好 。 

















好 的 推荐 应 该 是 个 性 化 的 ， 作 为 消费 者 在 购物 的 时 候 被 收集 的 信息 
多 得 令 人 难以 置信 。 软 件 或 者 三 商 可 以 获取 我 们 的 性 别 、 位 置 、 社 交 媒 
体 点 赞 和 分 至 内 容 、 购 买 历史 、 产 品 查 看 操作 、 购 物 车 丢弃 行为 ， 有 时 
甚至 知道 我 们 的 大 学 位 置 和 家 庭 收 入 ， 这 仅 是 部 分 个 人 信息 。 有 足够 的 
数学 证 据 表 明 ， 如 此 多 的 不 同 因 系 之 间 存 在 的 模式 和 关联 不 仅仅 是 巧 
合 ， 要 在 电子 商务 网 站 上 提供 恨 好 的 、 个 性 化 的 推荐 ， 零 售 商 需要 一 个 
能 大 规模 地 识别 这 些 模式 的 引擎 ， 关 联 规则 便 是 这 种 引擎 的 核心 所 在 。 


关联 规则 是 最 先 被 想到 的 推荐 方法 ， 但 也 曾经 出 现 过 极其 区 请 的 事 
情 。 当 时 IBM 的 工程 师 苗 于 没有 数据 集 ， 于 是 杜撰 了 一 个 数据 集 作 为 天 
联 规则 的 核心 ， 结 果 跑 出 了 啤酒 和 尿布 这 一 奇 芳 关联， 最 后 莞 然 大 家 都 
相信 了 。 这 虽然 是 一 则 笑话 ， 但 由 此 引发 出 的 关联 规则 和 数据 库 的 关系 
成 了 关键 所 在 。 关 联 规则 最 重要 的 王 是 发 现 共 现 关 系 〈 挖 掘 频 过 项 目 
集 ) ， 经 典 算法 有 Apriori 算 法 、FP-Growth 算 法 。 关 联 规则 的 应 用 场景 
征 大 量 的 用 户 购 买 了 A 之 后 还 会 接着 购买 B 和 C， 于 是 一 旦 发 现 用 户 购买 
了 A， 系 统 束 会 给 用 户 推 荐 BB 和 C。 这 个 应 用 场景 放 在 购物 上 是 非常 合适 
的 ， 因 为 我 们 购物 往往 是 根据 当前 的 需求 ， 也 就 是 说 用 户 购 物 的 兴趣 点 
古 随 厦 时 间 变 化 的 。 关 联 规 则 也 可 以 给 用 户 推 荐 完全 不 相似 的 物品 ， 比 
如 ， 购 买 了 数码 相机 ， 系 统 会 推荐 SD 卡 《安全 数码 卡 ) 、 数 码 相 机 电 
池 等 。 

亚马逊 最 先 提出 运用 此 方法 进行 基于 物品 的 相同 过 滤 ， 基 本 思想 是 
预先 根据 所 有 用 户 的 历史 偏好 数据 计算 物品 之 间 的 相似 性 ， 然 后 把 与 用 
户 喜 欢 的 物品 相关 似 的 物品 推荐 给 用 户 。 举 个 例子 ， 物 品 a 和 ec 非常 相 
似 ， 因 为 喜欢 a 的 用 户 同时 也 喜欢 c， 而 用 户 A 喜 欢 a， 所 以 系统 把 c 推 荐 
给 用 户 A。 这 也 就 解释 了 为 何 广 家 或 者 互联 网 能 够 基本 准确 地 预知 我 们 
想 要 购买 的 商品 。 

关联 推荐 对 于 改变 我 们 的 生活 产生 了 重大 影响 ， 未 来 的 购物 或 许 会 
是 ， 想 象 我 们 进入 一 家 商店 ， 将 一 些 服 装 带 入 试 衣 间 ， 当 进入 试 衣 间 
时 ， 智 意 穿 衣 镜 目 动 识 别 这 些 商 品 。 试 穿行 为 可 能 被 视 为 类 似 于 在 



































线 “ 奋 看 产品 ?的 行为 ， 您 将 商品 放 入 “不 喜欢 ? 扒 中 ， 相 当 于 “从 购物 车 
中 删除 ?的 行为 。 商 品 之 间 的 共同 特征 会 被 监视 ， 比 如 ， 试 穿 短 久 的 倾 
回 。 与 此 同时 ， 一 个 平板 电脑 或 智慧 罕 衣 镜 正 在 跟踪 这 些 实时 行为 ， 并 
根据 每 种 操作 来 调整 推荐 。 您 可 能 看 到 根据 您 试 罕 的 一 件 连衣裙 而 产生 
的 吃 一 件 连衣裙 的 推荐 ， 通 过 单 击 平板 电脑 上 的 “ 试 罕 ?按钮 ， 丙 店 服务 
员 就 会 送 来 符合 您 的 尺码 的 连衣裙 。 当 然 ， 我 们 的 购物 清单 或 许 也 会 根 
扼 算 法 在 购物 前 被 预测 或 推荐 。 








(三 ) 生物 识别 系统 半 闻 人 花 上 说 人 情 


科幻 电影 当中 经 常 出 现 这 样 的 情景 ， 假 设 你 是 詹姆斯 - 邦 德 ， 现 在 
必须 进入 一 间 秘 密实 验 室 ， 解 除 一 件 致命 的 生物 武器 ， 拯 救 整个 世界 。 
但 是 ， 在 此 之 前 ， 你 必须 破解 罪犯 的 安全 系统 。 要 进行 破解 ， 光 有 钥匙 
和 密码 是 不 够 的 ， 你 或 许 还 需要 使 用 罪犯 的 虹膜 、 语 音 和 手 形 数据 ， 只 
有 这 样 才能 进入 系统 。 生 物 识别 系统 是 近年 来 兴起 的 另外 一 个 人 工 智能 
与 机 器 学 习 的 成 果 。 不 管 是 我 们 使 用 的 iPhone 指纹 识别 、Siri 的 语音 识 
别 ， 还 是 计算 机 登录 的 面部 识别 甚至 是 电影 中 的 视网膜 识别 ， 生 物 识别 
技术 已 经 慢 慢 成 了 我 们 生活 中 取代 传统 人 工 识别 与 安全 防范 措施 的 重要 
工具 之 一 。 生 物 识别 技术 能 够 通过 计算 机 与 光学 、 声 学 、 生 物 传感器 和 
生物 统计 学 原理 等 高 科技 手段 密切 结合 ， 利 用 人 体 固有 的 生理 特性 ， 来 
进行 个 人 身份 的 鉴定 。 生 物 识别 技术 大 致 分 为 六 种 : 指纹 识别 、 声 音 识 
别 、 视 网 膜 识别 、 虹 膜 识别 、 面 部 识别 、 静 脉 识别 。 

生物 识别 系统 看 起 来 非常 复杂 ， 但 一 般 会 涉及 以 下 三 个 步 又 。 


(1) 登记 : 当 首 次 使 用 生物 识别 系统 时 ， 系 统 将 会 记录 输入 的 信 
恩 ， 如 姓名 或 号 份 证 号 码 。 捕 获 影 像 ， 或 者 记录 具体 特征 。 

(2) 存储 : 与 电影 中 看 到 的 相反 ， 大 多 数 系统 并 不 存储 完整 的 影 
像 或 记录 ， 而 是 分 析 输 入 数据 的 特征 ， 然 后 将 其 转换 成 代码 或 图 形 。 茶 
些 系统 还 能 将 这 些 数据 记录 在 可 随 喘 携带 的 智能 卡 上 。 





























(3) 比较 : 当下 一 次 使 用 该 系统 时 ， 它 会 将 现 有 输入 特征 与 文件 
中 的 信息 进行 比较 ， 根 据 比 较 结果 接受 或 拒绝 身份 申明 。 


生物 识别 技术 也 渐渐 应 用 到 其 他 非 生物 方面 ， 如 车 牌 识别 、 数 字 识 
别 等 。 以 图 像 识 别 为 例 ， 机 器 学 习 在 其 中 扮演 了 很 重要 的 角色 。 我 们 人 
类 的 视觉 是 与 生 俱 来 的 ， 但 是 完 竟 图 像 是 如 何 通过 视网膜 进入 大 脑 从 而 
翻译 成 我 们 大 脑 可 识别 的 信息 ， 我 们 依然 不 清楚 。 事 实 上 ， 对 我 们 来 说 
不 需要 有 意识 去 做 的 事情 对 于 机 器 来 说 却 是 困难 重重 。 机 需 学 习 可 以 最 
大 限度 地 代 符 人 眼 来 进行 图 像 内 容 的 识别 与 筛选 。 要 想 完成 机 器 疼 像 识 
别 ， 第 一 步 便 是 图 像 的 分 类 ， 当 我 们 癌 计 算 机 展示 一 幅 图 片 时 ， 它 能 够 
对 图 片 进行 分 析 并 打上 标签 ; 它 可 以 从 固定 数量 的 标签 中 进行 选择 ， 每 
一 类 的 标签 描述 了 一 种 图 像 的 内 容 ， 我 们 的 目标 就 是 让 这 个 模型 能 够 尽 
可 能 地 挑选 出 正确 的 标签 。 第 二 步 为 监督 学 习 ， 就 是 让 机 器 目 己 能 够 学 
习 图 像 的 评估 。 我 们 定义 一 个 通用 的 数学 模型 ， 将 输入 图 像 转 换 为 输出 
标签 ， 提 供 初始 的 参数 值 ， 然 后 再 癌 模 型 输入 图 像 数 据 集 和 已 知 的 正确 
标签 ， 这 束 是 训练 的 过 程 。 在 这 个 阶段 模型 重复 校 验 ， 训 练 数 据 ， 持 续 
调整 参数 值 ， 目 标 是 找到 合适 的 参数 使 模型 输出 尽 可 能 多 的 正确 结 
这 种 同时 使 用 输入 数据 和 正确 结果 的 训练 方法 叫 监督 学 习 。 在 经 过 了 以 
上 两 个 步骤 后 ， 我 们 便 能 得 到 所 需 的 识别 模型 参数 ， 也 就 完成 了 机 器 学 
习 的 过 程 。 























(四 ) 垃圾 邮件 检测 : 一 粒 沙 里 见 世 界 


电子 邮箱 是 科技 发 展 的 产物 ， 也 是 现代 社会 必 不 可 少 的 工具 ， 但 是 
垃圾 邮件 和 垃圾 短信 一 样 ， 是 我 们 生活 工作 时 无 法 避免 的 烦恼 。 电 子 邮 
件 检测 与 防 网 络 钓鱼 系统 能 够 有 效 地 阻止 垃圾 邮件 并 且 保 护 我 们 的 计算 
机 与 信息 安全 。 合 歌 在 2016 年 奔 刚 刚 宣布 会 在 谷歌 邮件 (Gmail〉 中 增 
加 一 些 新 的 安全 功能 ， 包 括 基于 机 器 学 习 技 术 改 进 后 的 网 络 钓鱼 检测 功 
能 。 调 查 显示 ， 在 Gmail 中 收 到 的 邮件 中 有 50%~70% 都 是 垃圾 邮件 ， 机 


器 学 习 技 术 可 帮助 谷歌 以 超过 99.99% 的 准确 性 来 阻止 垃圾 信息 和 网 络 钩 
鱼 信息 。 谷 歌 最 新 的 机 器 学 习 横 块 ， 通 过 拖延 选择 性 信息 〈 平 均 少 于 
0.05%) ， 以 赢得 时 间 进 行 网 络 钓鱼 分 析 ， 来 改进 处 理 过 程 。 当 用 户 点 
击 了 一 个 可 疑 链接 时 ， 新 的 检测 模块 通过 统一 资源 定位 符 〈URL) 信誉 
和 相似 性 分 析 ， 生 成 新 的 URL 点 击 时 间 和 警告 ， 这 一 安全 功能 会 向 用 户 提 
供 警告 提示 。 随 着 新 模式 的 发 现 ， 新 型 模型 比 人 工 系统 适应 得 更 快 ， 用 
得 越久 越 有 效 。 

机 器 学 习 帮助 Gmail 实 现 了 垃圾 邮件 检测 的 99% 以 上 的 准确 性 ， 通 
过 这 些 新 的 保护 措施 ， 机 器 已 经 能 够 自信 地 每 天 拒绝 数 以 亿 计 的 其 他 信 
息 ， 减 少 我 们 所 面临 的 威胁 。 











一 、 小 数据 张 动 复 杂 系 统 的 优化 


(一 ) 复杂 系统 与 小 数据 
(1) 复杂 系统 简介 


复杂 系统 理论 (System ”Complexity) 是 系统 科学 中 的 一 个 前 沿 方 
癌 ， 它 是 复杂 性 科学 的 主要 研究 任务 。 复 杂 性 科学 被 称 为 21 世 纪 的 科 
学 ， 它 的 主要 目的 就 是 揭示 复杂 系统 的 一 些 难以 用 现 有 科学 方法 解释 的 
动力 学 行为 。 与 传统 的 还 原 论 方法 不 同 ， 复 杂 系 统 理论 强调 用 整体 论 和 
还 原 论 相 结合 的 方法 去 分 析 系 统 。 目 前 ， 复 杂 系 统 理论 还 处 于 萌芽 阶 
段 ， 它 可 能 正在 孕育 一 场 新 的 系统 学 乃至 整个 传统 科学 方法 的 革命 。 生 
命 系统 、 社 会 系统 都 是 复杂 系统 ， 复 杂 系 统 理论 的 应 用 在 系统 生物 学 的 
研究 与 生物 系统 计算 机 数学 建 模 中 具有 重要 的 意义 。 


复杂 系统 (Complex System) 是 具有 中 等 数目 基于 局 部 信息 做 出 行 
动 的 智能 性 、 自 适应 性 主体 的 系统 。 复 杂 系 统 是 一 个 很 难 定 义 的 系统 ， 
它 存在 于 世界 的 各 个 角落 。 因 此 ， 我 们 也 可 以 这 样 定义 它 : 不 是 简单 
系统 ， 也 不 是 随机 系统 ; 多 是 一 个 复合 的 系统 ， 而 不 是 纷繁 的 系统 @) 
是 一 个 非 线 性 系统 ;外 内 部 有 很 多 子 系统 (Subsystem ) ， 这 些 子 系统 
之 间 又 是 相互 依赖 的 〈Interdependence) ， 子 系统 之 间 相 互 起 到 协同 作 
用 ， 可 以 共同 进化 〈Coevolving) 。 在 复杂 系统 中 ， 子 系统 分 为 很 多 层 
次 ， 大 小 也 各 不 相同 (Multi-level & Multi-scale) 。 


复杂 系统 的 主要 特征 如 下 。 


(智能 性 和 上 自 适应 性 。 这 意味 着 系统 内 的 元 素 或 主体 的 行为 遵循 一 
定 的 规划， 根据 “环境 ”和 接收 信息 来 调整 自身 的 状态 和 行为 ,并且 主 体 


























通常 有 能 力 来 根据 各 种 信息 调整 规则 ， 产 生前 所 未 有 的 新 规则 。 通 过 系 
统 主体 的 相对 低 等 的 智能 行为 ， 系 统 在 整体 上 显现 出 更 高 层次 、 更 加 复 
杂 、 职 能 更 加 协调 的 有 序 性 。 

凶 没 有 中 央 控 制 的 局 部 信息 。 在 复杂 系统 中 ， 没 有 哪个 主体 能 够 知 
道 其 他 所 有 主体 的 状态 和 行为 ， 每 个 主体 只 可 以 从 个 体 集合 的 一 个 相对 
较 小 的 集合 中 获取 信息 ， 处 理 “ 局 部 信息 ”做 出 相应 的 决策 。 系 统 的 整 
体 行 为 是 通过 个 体 之 间 的 相互 竞争 、 协 作 等 局 部 相互 作用 而 呈现 出 来 
的 。 最 新 研究 表明 ， 在 一 个 蚂蚁 王国 中 ， 每 一 只 蚂蚁 并 不 是 根据 “ 国 
王 ” 的 命令 来 统一 行动 ， 而 是 根据 同伴 的 行为 以 及 环境 来 调整 日 喘 行 
为 ， 而 实现 一 个 有 机 的 群体 行为 。 

另外 ， 复 杂 系 统 还 具有 突现 性 、 不 稳 性 、 非 线性 、 不 确定 性 、 不 可 
预测 性 等 特征 。 

















(2) 复杂 系统 分 类 


通俗 地 讲 ， 系 统 可 以 分 为 三 类 。 

(简单 系统 (Simple ”System) 。 简 单 系 统 ， 特 点 是 元 素数 目 特别 
少 ， 因 此 可 以 用 较 少 的 变数 来 描述 ， 这 种 系统 可 以 用 牛顿 力学 来 加 以 解 
析 。 人 简单 系统 又 是 可 以 控制 、 预 见 和 组 成 的 。 在 管理 学 中 ， 这 种 组 织 一 
般 出 现在 组 织 的 初期 ， 如 一 个 班级 ， 抱 着 同样 的 目的 ， 有 同样 的 背景 ， 
组 成 了 一 个 简单 系统 。 又 如 ， 排 成 一 列 的 买 标 长 队 ， 也 是 一 个 简单 系 
统 。 


随机 系统 (Random System) 。 随 机 系统 ， 其 特征 是 元 素 和 变量 
数 很 多 ， 但 其 则 的 粳 合 是 微弱 的 ， 或 随机 的 ， 即 只 能 用 统计 的 方法 去 分 
析 。 热 力学 研究 的 对 象 一 般 束 是 这 样 的 系统 。 这 样 的 系统 在 社会 上 并 不 
多 见 ， 但 彩票 就 是 关于 随机 系统 的 一 个 很 好 的 例子 。 


@ 复 杂 系 统 〈Complex System) 。 复 杂 系 统 的 特征 是 元 素数 目 很 
多 ， 且 其 间 存 在 着 强烈 的 耦合 作用 。 复 杂 系 统 由 各 种 小 的 系统 组 成 ， 


























如 ， 生 态 系统 是 由 各 个 种 群 、 各 种 生物 组 成 的 。 生 态 系统 是 复杂 系统 一 
个 最 好 的 例子 。 当 然 ， 管 理学 中 ， 经 常 把 一 个 公司 看 作 复 杂 系 统 ， 它 兼 
有 简单 系统 和 随机 系统 的 各 种 特征 。 


复杂 性 科学 所 感 兴趣 的 正 是 最 后 一 种 有 组 织 的 复杂 系统 。 因 为 对 于 
第 一 种 系统 来 说 ， 传 统 的 牛顿 力学 范式 的 分 析 方 法 已 经 给 出 了 这 类 系统 
行为 的 很 好 的 解释 。 而 对 于 第 二 类 系统 ， 由 于 其 元 系数 目 太 多 ， 必 然 因 
元 素 间 的 耦合 而 “失去 ?个 性 ， 从 而 能 够 用 统计 方法 去 研究 ， 成 为 一 种 简 
单 的 系统 。 所 以 ， 复 杂 系 统 的 元 际 并 不 是 数目 多 惑 复 杀 ， 有 共有 中 等 数目 
大 小 的 系统 如 果 是 一 个 有 趣 的 系统 ， 也 是 一 个 复杂 的 系统 。 

















(二 ) 复杂 系统 的 小 数据 特征 
(1) 小 数据 的 秩序 


复杂 性 系统 具有 秩序 与 混沌 的 双重 特点 。 它 有 一 定 的 秩序 ， 我 们 身 
体 中 的 血液 循环 管道 系统 、 肺 脏 气 管 分 又 过 程 、 大 脑 皮 层 、 消 化 道 小 肠 
绒毛 ..….... 强 含 了 严 谍 的 结构 ， 参 天 的 大 树 、 连 绵 的 山脉 、 洁 白 的 雪花 、 
奇异 的 矿石 ， 更 是 具有 近乎 完美 的 秩序 。 一 个 复杂 性 系统 不 管 它 表现 出 
如 何 复杂 的 行为 ， 它 总 是 有 着 潜在 的 秩序 ， 尽 管 有 时 它们 可 能 不 为 人 
Nl 

















(2) 小 数据 的 混沌 


复杂 性 系统 还 具有 混沌 的 特点 。 一 个 复杂 性 系统 的 复杂 行为 并 非 出 
自 复杂 的 基本 结构 ， 而 是 由 许多 独立 的 甚至 相当 简单 的 单元 的 相互 作用 
形成 的 ， 它 的 控制 力 是 相当 分 散 的 。 在 分 形 理论 中 ， 分 形 图 结构 相当 复 
杂 、 层 层 登 合 、 无 穷 缠绕 ， 有 着 无 穷 的 散 套 结构 和 多 重 自 相 似 性 ， 然 而 
它 是 由 计算 机 通过 确定 的 算法 得 到 的 ， 而 且 这 些 算法 往往 相当 简单 。 








1987 年 ， 洛 杉 矶 新 柏 利克 斯 公司 (Symbolics “Corporation ) 的 Craig 
Reynolds (元 雷 格 : 雷 诺 北 ) 在 一 个 人 工 生命 研讨 会 上 展示 出 了 一 个 计算 
机 模型 ， 它 将 肴 干 乌 类 模型 随机 地 放 入 到 处 是 墙 和 障碍 物 的 屏幕 环境 之 
中 。 每 一 只 “ 鸟 ” 都 遵循 三 个 简单 的 规则 : QW) 它 尽力 与 其 他 障碍 物 包括 其 
他 “ 鸟 ” 保 持 最 小 的 距离 ，@ 它 尽力 与 其 相 邻 的 “ 鸟 ” 保 持 相 同 的 速率 ;@@) 
它 尽 力 朝 其 相 邻 群 的 聚集 中 心 移动 。 这 个 模型 每 一 次 运行 的 结果 都 
是 “ 乌 ” 聚 集成 群 。 有 时 “ 乌 ? 群 甚至 能 分 成 更 小 的 群体 从 障碍 物 的 两 劳改 
过 ， 又 从 障碍 物 的 另 一 端 重新 聚集 成 群 。 这 些 规则 中 没有 一 条 这 样 说 ， 
而 只 是 对 每 一 个 单独 的 “ 鸟 ” 发 出 指令 。 由 此 看 来 ， 每 个 复杂 性 系统 都 具 
有 某 种 动力 ， 这 种 动力 使 最 简单 的 底层 的 规则 产生 极其 复杂 的 行为 ， 然 
而 这 些 行为 与 决定 论 不 可 预测 的 混沌 相差 甚 远 。 分 形 图 形 的 结构 是 复杂 
的 ， 它 总 是 有 无 穷 的 缠绕 在 里 面 ， 然 而 它 却 杂 而 不 乱 ， 有 其 内 在 的 秩 
序 ， 有 上 自 相 似 结 构 。 而 事实 上 ， 复 杂 性 系统 不 是 不 可 预测 ， 而 是 可 以 预 
示 将 来 。 


(3) 小 数据 的 超出 寓 沌 


复杂 性 系统 除了 具有 混沌 的 部 分 特性 外 ， 还 有 着 超出 混沌 的 特点 。 

OD 产生 复杂 行为 的 众多 的 相互 作用 使 每 个 系统 作为 一 个 整体 产生 了 
自发 性 的 自 组 织 。“ 柏 德 " 聚 集成 群 ， 原 子 通过 相互 化 合 找到 最 小 的 能 量 
状态 ， 人 类 为 满足 自己 的 物质 交换 的 需要 建立 经 济 体制 等 。 在 所 有 这 些 
情形 中 ， 一 组 组 单个 动因 在 寻求 相互 满足 的 同时 获得 了 众多 单个 动因 永 
远 不 可 能 具有 的 集成 的 特征 。 

@@ 这 些 复杂 的 ， 具 有 自 组 织 性 的 系统 可 以 自我 调整 。“ 柏 德 " 群 分 成 
小 的 群体 从 障碍 物 的 两 旁 飞 过 ， 又 从 障碍 物 的 另 一 端 重新 聚集 ， 人 类 在 
与 世界 的 接触 中 不 断 学 习 ， 人 脑 随 之 不 断 加 强 或 减弱 神经 元 之 间 的 无 数 
的 相互 关联 ， 经 济 中 的 价值 规律 即 价格 随 价值 波动 但 长 期 的 总 的 结果 趋 
于 平衡 























GO 所 有 的 复杂 性 系统 都 可 以 预示 将 来 。“ 相 德 " 在 遇 到 障碍 物 后 分 成 
更 小 的 群体 ， 但 之 前 的 肾 集 状态 预示 着 它 仍 然 会 再 次 聚集 。 长 期 的 经 济 
有 惨 退 会 使 人 们 的 消费 信心 下 降 ， 这 恰恰 又 预示 看 经 济 会 进一步 隧 退 。 从 
微小 的 细菌 到 所 有 的 生物 体 ， 其 基因 中 都 含有 预测 的 密码 ， 以 适应 茶 种 
未 曾 出 现 过 的 新 环境 。 





(三 ) 数据 驱动 的 复杂 系统 优化 ， 大 数据 与 小 数据 


过 去 我 们 对 于 复杂 系统 了 解 得 不 太 多 ， 为 外 复杂 系统 科学 进步 速度 
较为 缓慢 ， 主 要 是 因为 数据 采集 手段 不 多 ， 导 致 数据 不 够 。 但 现在 的 情 
况 正在 改变 。 比 如 ， 社 会 系统 、 生 态 系 统 、 细 胞 中 各 种 大 大 小 小 的 分 子 
构成 的 网 络 、 神 经 系统 等 ， 可 以 大 规模 观 峙 它们 并 把 数据 记录 下 来 。 分 
子 、 细 胞 、 个 体 、 网 站 、 社 会 团体 、 生 态 系统 等 各 个 层次 的 复杂 系统 在 
本 质 上 应 该 是 相同 的 ， 尽 管 它们 的 基本 组 成 单位 不 同 ， 导 致 会 有 很 多 不 
同 之 处 ， 各 个 层次 都 有 目 己 的 规律 和 原理 ， 但 共性 和 个 性 ， 前 者 更 基 
本 。 有 具体 表现 在 它们 可 能 拥有 共同 的 基本 链接 原理 ， 需 要 能 统一 处 理 它 
们 的 新 数学 理论 ， 即 复杂 系统 的 “小 数据 系统 ”。 这 种 数学 理论 能 有 效 地 
处 理 大 数据 和 相互 联系 ， 我 们 不 知道 这 种 数学 理论 和 统计 学 的 关系 是 什 
么 ， 更 不 知道 谁 会 是 下 一 个 牛顿 或 沫 布 尼 次 ， 会 在 什么 时 候 出 现 ， 也 不 
知道 在 未 来 的 东 一 天 ， 数 据 科 学 和 复杂 系统 科学 是 否 会 像 数理 化 一 样 成 
为 中 学 生 的 学 习 谍 程 。 

数据 科学 与 复杂 系统 有 一 个 共同 的 终极 目标 ， 束 是 预测 。 但 后 者 还 
寻求 基本 原理 。 前 者 是 后 者 的 基础 ， 因 为 要 理解 复杂 系统 ， 不 但 需要 大 
数据 和 小 数据 ， 还 需要 对 大 数据 和 小 数据 进行 有 效 分 析 。 

这 两 门 科学 的 发 展 对 人 类 社会 的 影响 会 有 多 大 ? 不 知道 ， 可 能 非常 
大 ， 就 像 原始 社会 的 人 不 会 想到 他 们 的 后 代 会 有 今天 这 样 的 成 就 一 样 。 
因为 这 两 门 科 学 的 发 展 需要 以 技术 的 进步 为 基础 ， 如 各 种 系统 需要 有 效 
的 大 规模 观测 和 记录 的 仪器 ， 以 及 对 各 种 仪器 设备 所 产生 的 大 量 数据 进 


























行 有 效 分 析 的 计算 机 ， 如 测 蛋 白质 和 核酸 序列 的 第 三 代 测 序 仪 、 大 型 天 
文 望 远 镜 、 量 子 计算 机 、 人 体 构 造 、 仿 真 机 器 人 、 城 市 布局 等 。 我 们 需 
要 了 解 的 是 小 数据 的 复杂 性 和 复杂 系统 的 小 数据 系统 。 





(四 ) 人 体 构造 ， 每 一 组 数据 都 昔 藏 一 个 奥秘 








我 们 每 个 人 作为 一 个 独立 的 个 体 ， 都 有 一 套 与 生 俱 来 的 复杂 系统 ， 
这 就 是 人 体 。 人 体 是 由 细胞 构成 的 ， 细 胞 是 构成 人 体形 态 结构 和 功能 的 
基本 单位 ， 形 态 相 似 和 功能 相关 的 细胞 借助 细胞 间 质 结合 起 来 构成 的 结 
构成 为 组 织 。 几 种 组 织 结合 起 来 ， 共 同 执行 茶 一 种 特定 功能 ， 并 具有 一 
定形 态 特 点 ， 束 构成 了 器 官 。 夯 干 个 功能 相关 的 右 官 联合 起 来 ， 共 同 完 
成 某 一 特定 的 连续 性 生理 功能 ， 即 形成 系统 。 人 体 由 九 大 系统 组 成 ， 即 
运动 系统 、 消 化 系统 、 呼 吸 系 统 、 泌 尿 系统 、 和 生殖 系统 、 内 分 泌 系 统 、 
免疫 系统 、 神 经 系统 和 循环 系统 。 


这 九 大 系统 经 过 几 千年 的 演化 帮助 人 类 克服 各 种 灾害 、 疾 病 与 困 
难 ， 使 人类 存活 在 这 个 地 球 上 。 每 个 系统 有 着 不 同 的 功能 分 工 ， 缺 一 不 
可 。 


人 体 拥有 的 这 九 大 生物 系统 ， 保 障 了 人 类 能 够 繁衍 至 今 而 没有 灭 
绝 。 虽 然 看 起 来 这 些 系统 需要 很 多 配件 进行 配合 ， 犯 错 的 概率 会 增 大 ， 
但 是 比 起 那些 一 个 错误 就 会 致命 的 结构 简单 的 生物 ， 人 类 的 复杂 系统 反 
倒 不 会 轻而易举 地 被 破坏 ， 原 因 惑 是 人 体 同时 存在 痢 容 错 系统 。 肠 上 胃 不 
会 因为 自身 酸性 极 高 的 骨 酸 而 被 腐蚀 ;运动 时 心脏 会 加 速 跳动 以 适应 血 
氧 需求 ， 血压 升 高 时 心率 会 反射 性 下 降 以 缓解 血管 承受 的 压力 .…… 人 体 
如 此 庞大 的 一 个 系统 在 运行 过 程 中 确实 会 经 常 出 现 错误 ， 但 是 正 因为 人 
体 复杂 系统 的 精妙 ， 以 人 类 的 目 我 协调 能 力 ， 发 生 疾 病 的 概率 远 远 低 
于 “配件 ?出 错 的 概率 ， 足 以 使 人 类 在 地 球 上 延续 至 今 。 














(五 ) 仿真 机 器 人 : 每 一 个 人 都 是 一 个 小 宇宙 


仿真 机 器 人 又 称 机 器 人 仿真 系统 ， 是 指 以 计算 机 为 基础 ， 用 程序 或 
软件 对 实际 机 器 人 系统 进行 模拟 或 操作 的 技术 。 复 杂 的 系统 可 以 通过 低 
层次 的 代理 在 环境 中 与 环境 进行 沟通 和 交互 ， 表 现 出 高 层次 (紧急 ) 行 
为 。 这 些 局 级 行为 不 容易 从 代理 的 低级 行为 规范 中 推导 出 来 ， 因 此 仿真 
古 探 索 这 些 系统 的 行为 的 天 键 组 成 部 分 。 然 而 ， 在 构建 可 执行 仿真 之 
前 ， 复 杂 的 系统 需要 以 适当 的 计算 术语 来 建 模 ， 即 捕获 各 种 代理 、 通 信 
以 及 它们 与 环境 的 交互 的 术语 。 











(六 ) 城市 布局 : 每 一 座 城市 部 有 一 段 数据 史 





人 类 在 解决 了 自身 繁衍 问题 之 后 ， 会 有 更 高 的 生理 以 及 心理 需求 ， 
这 个 时 候 ,，“ 城 市 ” 便 产 生 了 。 对 于 城市 ， 世 界 上 没有 一 个 明确 的 定义 ， 
但 大 多 以 人 口 立 值 作为 标准 。 一 个 最 普遍 的 定义 束 是 “< 人 口 集 中 ， 居 民 
以 非 农 业 人 口 为 主 ， 工 商业 比较 发 达 的 地 区 ， 是 一 定 地 域 范围 内 的 政 
治 、 经 济 、 文 化 中 心 ”。 在 古代 中 国 ,，“ 城 市 ”的 定义 应 该 分 
为 “ 城 * 与 “市 ”两 个 部 分 ,，“ 城 ”代表 着 城墙 、 守 卫 以 及 区 域 ,，“ 市 ”代表 着 
市 场 、 交 易 、 买 卖 。 对 于 中 国 来 说 ， 城 市 的 定义 大 概 应 为 一 个 人 口 密集 
聚居 、 有 城墙 进行 保护 ， 同 时 能 够 进行 交易 与 买卖 的 区 域 。 目 前 考古 发 
现 人 类 最 早 的 城市 是 在 两 河流 域 中 下 游 公元 前 3500 年 的 苏 美 尔 文化 时 
期 ， 有 尼 普 尔 城 、 古 巴比伦 城 ， 中 国有 考古 发 掘 证 明 的 最 早 城市 在 河南 
候 师 二 里 头 ， 年 代为 公元 前 2100~ 前 1700 年 。 经 过 了 上 千年 的 演化 后 ， 
城市 也 拥有 了 自己 的 一 套 复 杂 系 统 来 维持 自身 的 运转 ， 如 大 小 城市 应 如 
何 按 结构 配置 ? 每 个 地 区 的 城市 规模 应 该 有 多 大 ? 城市 间 、 城 市 地 区 间 
合理 联系 的 程度 与 物质 、 能 源 、 人 口 、 信 息 流 的 程度 如 何 控制 ? 

就 现代 城市 来 说 ， 一 个 城市 大 体 有 以 下 四 类 复杂 系统 : 城市 社会 系 
统 ， 由 城市 的 政治 系统 、 文 化 系统 和 人 口 系 统 构成 ; 城市 产业 经 济 系 























统 ， 由 第 一 产业 、 第 二 产业 和 第 三 产业 组 成 ; 城市 空间 系统 ， 由 城市 要 
素 的 选 址 、 城 市 空间 集聚 程度 以 及 城市 空间 形态 组 成 ;城市 其 他 系统 ， 
包括 了 城市 市 政 基础 设施 系统 以 及 社会 设施 系统 。 联 合 国 人 类 住 区 规划 
署 在 2009 年 指出 全 世界 半数 以 上 的 人 口 居 住 在 城市 地 区 ， 而 且 这 个 数字 
到 2030 年 有 望 增长 到 并 超过 67%， 达 到 约 50 亿 人 。 随 着 城市 的 发 展 以 及 
城市 化 进程 的 加 快 ， 城 市 人 口 越 来 越 多 ， 城 市 需要 的 资源 也 会 越 来 越 
多 ， 城 市 会 慢 慢 衍生 出 一 些 新 的 系统 来 解决 出 现 的 问题 或 满足 人 类 的 需 
求 ， 如 公共 交通 系统 、 城 市 慢 行 系统 、 城 市 标识 系统 、 城 市 生态 系统 、 
城市 防 灾 减 灾 系 统 等 。 

城市 作为 一 个 “人 造物 ”， 至 少 近 期 不 太 可 能 做 到 和 人 体 一 样 通 过 精 
密 的 系统 协调 机 体 的 整体 运作 ， 所 以 出 现 了 一 系列 的 城市 问题 、 城 市 
病 ， 如 人 口 膨胀 、 交 通 拥堵 、 环 境 污染 、 生 态 破 坏 、 资 源 苇 乏 、 城 市 贫 
办 等 ， 但 是 随 着 城市 系统 越 来 越 完善 ， 城 市 的 整体 运作 能 力 将 会 越 来 越 
强大 ， 同 人 体系 统 看 齐 。 近 些 年 ， 规 划 界 一 个 新 词 频 繁 出 现 ， 那 就 
是 “韧性 规划 ”。 “万 性 规划 ”主要 考验 的 是 一 个 城市 应 对 突 发 状况 时 的 抵 
抗 能 力 以 及 恢复 能 力 ， 与 人 体 的 容错 机 制 有 些 相 似 。 这 一 开放 性 、 包 容 
性 的 城市 思维 在 很 大 程度 上 挑战 了 传统 的 城市 规划 思想 ， 更 加 注重 利用 
跨 领 域 合 作 的 策略 空间 来 规划 城市 的 发 展 方向 。 简 单 地 说 ， 我 们 可 以 把 
现行 的 “土地 使 用 规划 ” 视 为 单行 道 ， 而 把 “策略 空间 规划 ”看 作 双 向 道 。 
例如 ， 极 端 降雨 所 造成 的 洪水 问题 ， 常 常 对 城市 产生 威胁 ， 但 由 于 极端 
降雨 的 强度 与 频率 都 具有 高 度 不 确定 性 ， 用 工程 手段 (如 超大 堤防 、 超 
级 抽水 管 ) 来 应 对 的 话 ， 不 仅 花 费 不 菲 ， 也 无 法 确保 城市 能 得 到 1009% 
的 保护 。 从 策略 空间 规划 的 角度 ， 和 凭借 路 领域 的 讨论 与 协调 ， 可 以 提供 
较 多 元 且 全 面 的 应 对 措施 《如 清 洪 区 管制 、 抽 排水 系统 管理 ) ， 进 而 降 
低 极端 事件 所 造成 的 影响 ， 提 高 城市 各 个 系统 的 应 急 能 力 与 恢复 能 力 。 
































二 、 小 数据 推动 目 适 应 系统 的 进化 


(一 ) 目 适 应 系统 与 小 数据 
(1) 目 适 应 系统 简介 


自 适 应 (Self-Adaptive〉 是 指 处 理 和 分 析 过 程 中 ， 根 据 处 理 数 据 的 
数据 特征 目 动 调整 处 理 方法 、 处 理 顺 序 、 处 理 参 数 、 边 界 条 件 或 约束 条 
件 ， 使 其 与 所 处 理 数据 的 统计 分 布 特征 、 结 构 特征 相 适 应 ， 以 取得 最 佳 
的 处 理 效果 。 


目 适 应 过 程 是 一 个 不 断 有 逼近 目 标的 过 程 。 它 齐 循 的 途径 以 数学 模型 
表示 ， 称 为 目 适 应 算法 。 通 常 采 用 基于 梯度 的 算法 ， 其 中 最 小 均 方 误差 
算法 〈 即 LMS 算 法 ) 尤为 钊 用 。 目 适应 算法 可 以 用 人 硬件 《处 理 电 路 ) 或 
软件 《程序 控制 ) 两 种 方法 实现 。 前 者 依据 算法 的 数学 模型 设计 电路 ， 
后 者 则 将 算法 的 数学 模型 编制 成 程序 并 用 计算 机 实现 。 算 法 有 很 多 种 ， 
它 的 选择 很 重要 ， 决 定 了 处 理 系统 的 性 能 质量 和 可 行 性 。 

自 适 应 系统 是 复杂 系统 中 的 一 种 。 自 适应 系统 是 一 种 可 以 自行 修正 
的 控制 系统 。 前 面 提 到 复杂 系统 的 特性 是 多 元 么 的 信息 之 间 有 错综复杂 
的 关系 ， 改 变 运行 的 环境 和 新 的 信息 会 对 系统 产生 影响 ， 而 人 为 地 去 修 
正 这 些 影响 将 是 一 项 庞大 的 工程 。 

传统 的 控制 系统 在 运行 过 程 中 一 般 都 设 定 有 线性 的 数学 模型 ， 这 个 
模型 是 在 运行 前 就 已 经 确定 的 ， 但 是 随 痢 环境 的 变化 和 变量 条 件 的 改 
变 ， 很 多 时 候 我 们 是 无 法 确定 这 样 一 个 线性 数学 模型 的 ， 而 且 只 有 当 模 
型 中 所 需 已 知 量 确定 的 时 候 才 可 以 进行 分 析 和 控制 器 设计 。 





























随 着 数字 技术 的 发 展 ， 这 样 的 系统 能 够 在 应 对 环境 变化 的 时 候 自行 
调整 ， 使 其 在 运行 的 过 程 中 ， 在 条 件 允 许 的 情况 下 ， 根 据 输入 和 输出 数 
据 进 行 学 习 ， 进 而 去 适应 新 的 环境 ， 始 终 保持 能 够 获得 最 优化 的 或 者 次 
优化 的 行进 办 法 。 上 自 适 应 控制 就 是 希望 能 够 自动 地 去 补偿 这 些 未 知 的 变 
es 

目 适 应 系统 也 是 需要 模型 的 ， 但 是 自 适应 系统 的 模型 有 一 些 特征 。 
首先 是 对 于 信息 的 在 线 累 积 和 对 于 系统 的 可 调整 性 ， 因 为 原 有 数据 具有 
不 确定 性 ， 对 于 数据 的 累积 可 以 降低 这 样 的 不 确定 性 ， 而 且 原 有 模型 中 
的 参数 值 也 是 不 确定 的 ， 有 质量 地 增加 数据 ， 可 以 调整 参数 值 。 对 于 模 
型 来 说 ， 也 是 可 以 调整 的 。 对 于 性 能 指标 的 控制 ， 主 要 有 对 模型 参考 、 
自动 校正 、 收 敛 性 、 鲁 棒 性 的 控制 。 























(2) 目 适 应 系统 分 类 


1952 年 ， 美 国 拒 省 理工 学 院 首 先 研 究 制 造 出 了 测试 性 数字 控制 系 
统 。 之 后 出 现 了 增益 自 适 应 控制 、 模 型 参考 自 适 应 控制 (MRAC) 、 目 
校正 控制 (STC〉、 下 接 优 化 目标 函数 自 适 应 控制 、 模 糊 目 适应 控制 、 
多 模型 目 适 应 控制 和 目 适 应 逆 控制 等 。 目 前 比较 成 熟 的 是 模型 参考 目 适 
应 控制 和 目 校 正 控制 。 


模型 参考 自 适 应 控制 主要 应 用 于 电力 拖 动 领域 。 在 解决 船舶 自动 
区 驶 的 问题 上 能 有 效 地 应 对 外 界 环境 的 变化 ， 比 如 ， 风 力 、 波 溪 的 变化 
对 于 船舶 目 动 轨 驶 时 性 能 的 改变 ， 满 足 船舶 的 操作 安全 。 

凶 目 校正 控制 系统 主要 用 来 辨识 过 程 参数 。 系 统 主要 用 于 优化 性 能 
指标 和 对 常规 性 指标 进行 综合 校正 ， 一 般 使 用 最 小 方差 方法 、 最 小 二 乘 
法 和 最 大 似 然 法 ， 使 用 这 些 方法 能 使 系统 的 性 能 达到 最 优 。 











(二 ) 自 适 应 系统 的 小 数据 特征 








(1) 目 适 应 控制 是 一 门 研究 具有 不 确定 性 系统 控制 问题 的 学 科 。 
它 是 “工程 控制 论 ? 基 本 学 科 中 的 一 个 分 文学 科 。 目 适应 控制 可 以 看 作 一 
个 能 根据 环境 变化 智能 调 市 自 号 特性 的 反馈 控制 系统 ， 以 使 系统 能 够 按 
照 一 些 设 定 的 标准 在 最 优 状 态 工作 。 自 适应 控制 在 航空 、 导 弹 和 空间 飞 
行 避 的 控制 中 应 用 很 成 功 。 


(2) 目 适 应 滤波 占 是 能 够 根据 输入 信和 号 目 动 调整 性 能 进行 数字 信 
号 处 理 的 数字 滤波 右 。 作 为 对 比 ， 非 自 适应 滤波 占有 静态 的 滤波 右 系 
数 ， 这 些 静 态 系数 一 起 组 成 传递 函数 。 


对 于 一 些 应 用 来 说 ， 由 于 事先 并 不 知道 所 需要 进行 操作 的 参数 ， 如 
一 些 噪 声 信号 的 特性 ， 所 以 要 求 使 用 自 适 应 的 系数 进行 处 理 。 在 这 种 情 
况 下 ， 通 音 使 用 自 适 应 滤波 器 ， 根 据 使 用 其 反馈 来 调整 滤波 器 系数 以 及 
频率 啊 应 。 


总 的 来 说 ， 自 适应 的 过 程 涉及 将 价值 函数 用 于 确定 如 何 更 改 滤波 器 
系数 从 而 减 小 下 一 次 闪 代 过 程 成 本 的 算法 。 价 值 函数 是 滤波 器 最 佳 性 能 
的 判断 准则 ， 比 如 ， 减 小 输入 信号 中 的 噪声 成 分 的 能 

随 着 数字 信号 处 理 器 性 能 的 增强 ， 自 适应 滤波 器 的 应 用 越 来 越 常 
见 ， 时 至 今日 它们 已 经 被 广泛 地 应 用 于 手机 以 及 其 他 通信 设备 、 数 码 录 
像 机 和 数码 照相 机 以 及 医疗 监测 设备 中 。 














(三 ) 复杂 有 目 适 应 系统 与 强人 工 智能 的 实现 大 数据 与 
小 数据 


强人 工 智 能 是 能 够 与 人 类 智能 相 匹 配 甚 至 超越 人 类 智能 的 人 工 智 
能 ， 具 有 强人 工 智能 的 机 器 能 够 成 功 地 表现 出 人 类 具有 的 所 有 智能 。 强 
人 工 智能 是 人 工 智能 研究 的 终极 目标 ， 也 是 科 约 小 说 作家 和 未 来 科学 家 
的 重要 话题 。 相 对 于 强人 工 智能 的 是 弱 人 工 智 能 ， 它 通过 使 用 软件 来 研 
完 或 实现 特定 的 问题 求解 或 推理 任务 ， 不 以 实现 全 部 的 人 类 认 知 智能 为 


目标 。 


关于 强人 工 乔 能 的 基本 原理 和 哲学 争论 仍 在 继续 ， 目 前 人 工 知 能 的 
研究 主要 是 弱 人 工 智能 。 人 工 镶 能 发 展 了 50 多 年 ， 在 几 虹 不 平 的 道路 上 
取得 了 可 豆 的 进展 ， 特 别 是 与 机 器 学 习 、 数 据 挖掘 、 计 算 机 视觉 、 专 家 
系统 、 目 然 语 言 处 理 、 规 划 和 机 器 人 等 相关 的 应 用 市 来 了 恨 好 的 经 痢 效 
蔓 和 社会 效益 。 但 是 ， 弱 人 工 乔 能 是 先天 不 足 的 ， 因 为 它 试 图 通过 程序 
的 执行 去 模拟 复杂 的 人 关 智 能 。 即 使 算法 无 比 早 越 、 计 算 机 的 运算 速度 
无 比 快速 ， 运 用 最 先进 的 人 工 知 能 技术 造就 的 计算 机 的 智能 也 比 不 上 一 
个 初生 遇 儿 的 智能 。 

强人 工 智能 的 实现 是 可 能 的 ， 但 是 思路 要 改变 ， 通 过 线性 执行 程序 
去 模拟 智能 的 方法 是 有 其 极限 的 ， 这 是 不 可 突破 的 瓶颈 ， 因 为 弱 人 工 知 
能 中 广泛 使 用 的 符号 表示 和 搜索 往往 是 很 难 的 。 即 使 量子 计算 机 被 成 功 
研制 ， 运 算 量 不 再 是 个 问题 ， 精 心 编制 的 软件 也 足以 保证 机 器 通过 图 灵 
测试 ， 但 是 关于 通过 疼 灵 测试 是 否 意味 着 强人 工 智 能 的 争论 仍然 存在 。 
因此 ， 我 们 需要 回 到 问题 的 源头 : 智能 是 什么 ” 它 是 如 何 产生 的 ? 


人 之 所 以 具有 如 此 丰富 而 复杂 的 智能 表现 ， 是 因为 人 类 智能 的 来 源 
一 一 大 脑 的 复杂 性 。 人 类 中 枢 神 经 系统 中 约 含 1 ”000 亿 个 神经 元 ， 仅 大 
脑 皮层 中 就 约 有 140 亿 个 ， 这 些 神经 元 之 间 有 具有 高 度 复杂 的 相互 联系 。 
正 征 大 脑 的 这 种 复杂 性 ， 为 智能 的 复杂 表现 提供 了 生物 基础 。 每 个 神经 
元 与 周围 的 神经 元 相互 联系 ， 并 不 存在 对 所 有 神经 元 的 统一 控制 ， 寿 干 
神经 元 共同 作用 形成 大 脑 的 茶 个 功能 区 ， 大 脑 各 个 区 域 各 司 其 职 ， 协 同 
作用 ， 最 终 形成 了 重 能 。 这 些 都 是 复杂 目 适 应 系统 的 表现 ， 复 杂 目 适应 
系统 的 一 个 重要 特征 是 涌现 现象 。 所 请 涌现 ， 古 指 复 林 系 统 的 多 个 要 素 
组 成 系统 后 ， 出 现 了 系统 组 成 前 单个 要 素 所 不 具有 的 性 质 ， 这 个 性 质 并 
不 存在 于 任何 单个 要 素 当中 ， 而 是 系统 在 低层 次 构成 高 层次 时 才 表 现 出 
来 ， 所 以 人 们 形象 地 称 其 为 “涌现 ”。 对 作为 复杂 自 适 应 系统 的 神经 元 网 
络 而 言 ， 智 能 就 是 其 涌现 现象 。 


因此 ， 我 们 认为 智能 作为 一 种 高 级 生命 现象 ， 想 用 线性 执行 程序 来 















































模拟 的 方法 注定 是 览 脚 的 ， 智 能 是 一 种 复杂 自 适 应 系统 的 神经 元 网 络 的 
涌现 现象 。 所 以 实现 强人 工 智 能 的 最 可 行 的 方法 是 用 人 工 神 经 网 络 模拟 
搭建 类 似 的 复杂 系统 。 这 是 一 项 庞大 的 工程 ， 也 是 一 请 广 阔 的 研究 领 
域 。 在 研究 过 程 中 ， 目 上 而 下 的 方法 是 有 帮助 的 ， 如 将 复杂 网 络 分 解 成 
自我 意识 模块 、 记 忆 模 块 、 情 绪 模 块 等 。 我 们 认为 自我 意识 〈Self- 
Awareness) 同样 作为 神经 元 网 络 的 涌现 现象 ， 在 强人 工 智 能 的 实现 中 
起 到 了 核心 作用 。 


(1) 复杂 系统 与 复杂 目 适 应 系统 


复杂 自 适应 系统 理论 (CAS) 是 在 1994 年 Santa Fe 研究 所 成 立 十 周 
年 时 ， 由 霍 兰 德 〈Holland) 教授 在 题 为 “隐藏 的 秩序 ”(Hidden Order) 
的 报告 中 提出 的 。CAS 理 论 最 基本 的 思想 是 目 适 应 性 产生 复杂 性 。 我 们 
把 系统 中 的 成 员 称 为 具有 自 适 应 性 的 行为 主体 (Adaptive Agent) ， 简 
称 为 主体 。 所 谓 具 有 自 适 应 性 ， 束 是 指 它 能 够 与 环境 以 及 其 他 主体 进行 
交流 ， 在 这 种 交流 的 过 程 中 “学 习 ” 或 “积累 经 验 ”"， 并 且 根 据 学 到 的 经 验 
改变 自身 的 结构 和 行为 方式 。 整 个 系统 的 演变 或 进化 ， 包 括 新 层次 的 产 
生 、 分 化 和 多 样 性 的 出 现 ， 新 的 、 有 聚合 而 成 的 、 更 大 的 主体 的 出 现 ， 都 
是 在 这 个 基础 上 实现 的 。 


CAS 理 论 把 系统 的 成 员 看 作 具 有 上 自 映 目的 与 主动 性 的 、 积 极 的 “ 活 
的 ”主体 。 更 重要 的 是 ，CAS 理 论 认 为 ， 正 是 这 种 主动 性 以 及 它 与 环境 
的 反复 的 、 相 互 的 作用 ， 才 是 系统 发 展 和 进化 的 基本 动因 。 宏 观 的 变化 
和 个 体 分 化 都 可 以 从 个 体 的 行为 规律 中 找到 根源 。 


神经 元 网 络 是 复杂 目 适 应 系统 的 典型 例 于 ， 十 分 明显 地 体现 了 复杂 
自 适 应 系统 的 上 述 七 个 特征 。 在 神经 元 网 络 中 ， 每 个 神经 元 与 周围 神经 
元 相互 作用 ， 这 种 相互 作用 是 高 度 非 线性 的 ; 每 时 每 刻 ， 都 有 大 量 神经 
元 死亡 ， 同 时 又 有 大 量 神经 元 产生 ， 神 经 元 与 神经 元 之 间 连 接 的 拓扑 结 
构 和 连接 强度 随时 都 在 变化 。 蛙 个 独立 的 神经 元 是 不 具有 智能 的 ， 它 只 
征 生化 反应 的 载体 ， 但 正 是 从 数 以 亿 万 计 的 神经 元 相互 连接 构成 的 神经 






































元 网 络 中 涌现 出 了 智能 。 

了 解 了 乔 能 的 来 源 后 ， 我 们 就 明白 了 ， 为 什么 通过 线性 执行 程序 去 
实现 强人 工 智 能 的 方法 是 行 不 通 的 。 这 种 方法 试图 通过 一 种 与 形成 人 类 
智能 截然 不 同 的 途径 去 实现 智能 ， 用 线性 去 模拟 非 线性 ， 用 确定 去 模拟 
随机 ， 最 后 发 现 面 对 的 是 令 人 望 而 生 长 的 计算 复杂 上 度 。 

因此 ， 实 现 强人 工 智 能 的 最 可 行 的 方法 是 搭建 类 似 神经 网 络 的 复杂 
系统 ， 这 是 一 项 庞大 的 工程 ， 但 并 非 不 能 完成 的 任务 ， 需 要 神经 生理 学 
家 、 心 理学 家 、 计 算 机 专家 和 数学 家 的 密切 合作 。 





(2) 自我 意识 








很 多 人 痢 不 同意 通过 图 灵 测 试 作为 具有 智能 的 标准 ， 反 驶 的 理由 主 
要 是 图 灵机 并 不 能 像 人 一 样 真 正 理解 语句 后 面 的 意义 ， 它 或 许可 以 操作 
语法 ， 但 无 法 理解 语义 。 为 表明 这 一 点 ， 塞 尔 设计 了 “中 文 房 间 ”思想 实 
验 : 设想 你 坐 在 一 间 有 两 个 小 孔 的 屋子 里 ， 从 一 个 小 孔 递 给 你 一 些 你 根 
本 不 认识 的 中 文字 符 ， 也 就 是 说 你 完全 不 知道 这 些 字符 的 意义 。 但 是 你 
有 一 本 操作 规程 ， 根 据 该 操作 规程 你 可 以 把 递 给 你 的 那些 中 文字 符 转 换 
为 刃 一些 中 文字 符 ， 然 后 将 这 些 新 的 字符 从 另 一 个 小 孔 送 出 去 。 简 单 地 
说 ， 我 们 对 这 个 房间 只 做 下 面 三 件 事 : 中 中 文字 符 被 送 入 房间 ; 包 按 照 
操作 规程 ， 将 输入 的 中 文字 符 转 换 为 妨 一 些 中 文字 符 ;@@ 将 新 的 中 文字 
和 从 送出 房间 。 和 埃 尔 指出 ， 房 间 里 的 人 完全 不 理解 中 文 ， 其 至 根本 不 知道 
目 己 所 处 理 的 符号 就 是 中 文 ， 更 不 知道 自己 正确 地 回答 了 中 文 问 题 。 因 
此 ， 守 尔 得 到 结论 ， 纯 形式 的 符号 处 理 不 足以 产生 心灵 《〈Mind， 心 灵 哲 
学 的 研究 对 象 ， 与 智能 相关 但 不 同 于 乔 能 ， 可 以 理解 为 最 高 层次 的 智 
能 ， 如 信念 、 欲 望 、 意 图 、 情 感 等 ) 。 我 们 认为 塞 尔 的 反 驶 是 有 力 的 ， 
但 问题 的 本 质 是 ， 无 论 是 对 图 灵机 还 是 对 塞 尔 的 中 文 房 间 ， 我 们 有 理由 
认为 它们 都 不 具有 心灵 ， 这 是 因为 它们 没有 目 我 意识 。 程 序 的 一 大 特征 
是 被 动 执行 ， 程 序 可 以 通过 逻辑 推理 进行 问题 求解 ， 但 是 它 并 不 能 真正 
理解 问题 的 音义 。 





























笛 卡 儿 〈Descartes) 有 句 名 言 : “我 思 故 我 在 。” 对 一 个 智能 体 来 
说 ， 关 键 在 于 具有 思考 的 能 力 ， 也 在 于 能 够 意识 到 自己 在 思考 。 我 们 可 
以 随时 意识 到 自身 的 姿态 、 导 处 何 时 何 处 ， 思 考 时 ， 我 们 可 以 意识 到 上 自 





想 要 ..….. 我 打算 ..……. 而 霍华德 :加 德 纳 〈Howard Gardner) 将 人 的 智能 分 
成 七 类 : 语言 能 力 、 逻 辑 能 力 、 视 觉 /空间 感 、 音 乐 感 、 形 体 姿 态 调 
节 、 人 际 交 往 能 力 、 内 省 能 力 ， 从 中 很 容易 看 到 ， 每 种 智能 都 无 一 例外 
地 指向 一 个 “我 *， 目 我 意识 在 智能 中 处 于 中 枢 地 位 ， 这 正 是 图 灵机 所 不 
上 共有 的 。 没 有 了 自我 意识 ， 或 许 我 们 就 成 了 刺激 -反应 体 ， 或 者 被 动 行 
动 的 行 尸 走 肉 ， 我 们 意识 不 到 自己 从 哪 来 ， 将 去 往 何 处 ， 没 有 过 去 也 没 
有 未 来 ， 这 是 多 么 可 怕 的 图 景 啊 。 

因此 ， 为 实现 强 AI， 在 搭建 人 工 神经 网 络 时 ， 必 须 具 有 自我 意识 模 
块 。 关 于 神经 元 网 络 如 何 产生 自我 意识 的 机 理 还 在 研究 中 ， 有 以 下 两 个 
想法 值得 关注 。 包 自我 意识 是 可 以 分 层次 的 ， 从 关注 自身 机 体 状 态 和 喘 
体 姿 态 的 低级 自我 意识 (通常 我 们 不 会 有 意识 地 去 关注 ) 到 信念 、 欲 
望 、 意 岁 等 高 级 自我 意识 。 包 语言 在 自我 意识 形成 过 程 中 有 着 重要 作 
用 。 我 们 思考 时 离 不 开 语 言 ， 对 上 自我 的 意识 也 离 不 开 语言 ， 语 言 与 思维 
的 关系 仍 是 个 令 人 费解 的 问题 。 



































《四 ) 目 适 应 巡航 系统 : 大 环境 与 小 环境 的 适应 





目 动 巡 航 系统 在 车 辆 上 的 应 用 如 今 已 经 很 普及 了 。 无 其 是 当 我 们 在 
高 速 路 上 的 时 候 ， 长 时 间 地 行驶 车 辆 会 导致 疫 些 。 开 局 的 上 自动 巡航 系统 
对 于 司机 来 说 可 以 减少 踩踏 油门 次 数 ， 这 也 是 一 种 休 妃 。 但 是 以 前 目 动 
巡航 系统 速度 是 需要 司机 上 自行 去 调节 的 ， 当 与 前 车 车 距 变 小 时 ， 司 机 仍 
需要 手动 或 者 刹车 才能 改变 车 速 。 

如 今 汽 车 上 的 上 自 适应 巡航 系统 可 以 在 车 速 大 于 25 公 里 /时 时 自动 开 
局 。 汽 车 的 雷达 会 目 动 监测 与 前 车 的 车 距 ， 在 雷达 探测 发 现 车 距 小 于 预 














定 车 距 时 ， 目 适应 巡航 系统 会 目 动 对 车 辆 进行 减速 处 理 。 对 于 前 方 刊 车 
的 情况 ， 巡 航 系 统 会 降低 车 速 ， 直 到 低 于 25 公 里 /时 后 实现 “停车 /起 
步 ” 的 功能 。 这 样 的 系统 在 城市 中 也 可 以 使 用 《如 图 6-1 所 示 ) 。 





辅助 设施 


eo frm sr -一 一、 一 一 


图 6-1 自 适应 巡航 雷达 区 域 示意 图 


(五 ) 自 适 应 遗传 算法 : 群体 与 个 体 的 进化 





生物 上 讲 ,， 个体 的 形态 特征 很 大 程度 上 是 由 染色 体 和 基因 决定 的 。 
1975 年 ， 美 国 密 葡 根 大 学 教授 约 参 : 瞧 兰 德 〈(J.Holland〉 教 授 提 出 了 遗传 
算法 (Genetic Algorithm，GA) 。 这 种 算法 是 通过 模拟 达尔 文生 物 进 化 
论 中 的 自然 选择 和 自然 进化 过 程 来 搜索 最 优 解 的 过 程 。 某 一 个 种 群 可 能 
是 根据 基因 在 选择 淘汰 、 加 入 新 的 基因 之 后 所 演化 完成 的 。 在 这 个 过 程 
中 ， 淘 汰 的 基因 和 新 加 入 的 基因 数量 上 应 当 相 同 ， 以 保证 种 群 的 大 小 不 
变 。 种 群 的 演化 实际 上 是 一 直 在 进行 的 ， 不 会 终止 。 但 是 对 于 算法 程序 
来 说 ， 我 们 需要 给 定 一 个 计算 停止 的 条 件 。 这 样 ， 当 我 们 定义 好 所 有 的 
元 素 后 ， 选 择 一 个 种 群 ， 就 可 以 通过 算法 得 到 最 优 解 。 这 个 过 程 使 用 概 
率 的 方法 、 不 确定 的 规则 去 寻找 最 优 解 。 

遗传 算法 的 基本 运算 过 程 是 ， 通 过 对 初始 化 基因 的 适应 度 评价 进行 
选择 ， 将 优化 的 个 体 和 新 加 入 的 个 体 带 入 下 一 步 的 运算 中 。 接 着 进行 交 
又 和 变异 运算 ， 在 变异 运算 的 过 程 中 可 以 对 原始 的 基因 进行 变动 。 而 后 
根据 设置 的 终止 判定 条 件 终止 运算 ， 这 个 终止 条 件 一 般 为 给 定 的 阀 值 。 




















当 算 法 中 的 个 体 达 到 这 个 阐 值 的 时 候 ， 输 出 具有 最 大 适应 度 的 个 体 ， 这 
个 个 体 就 是 最 优 解 。 

自 适 应 遗传 算法 是 对 基本 遗传 算法 中 的 基因 中 的 遗传 参数 进行 调整 
提高 运算 速度 和 精度 ， 主 要 是 通过 对 种 群 规模 、 计 算 流程 、 遗 传 算 子 、 
参数 设计 的 改变 ， 求 解 对 于 GA 算 子 的 影响 力 。 目 适应 算法 中 的 群体 策 
略 提出 种 群 的 可 变性 ， 对 于 不 同 种 群 的 特征 有 不 同 的 优化 。 




















三 、 小 数据 助力 模糊 系统 的 应 用 


(一 ) 模糊 系统 与 小 数据 
(1) 模糊 系统 简介 


客观 现实 中 存在 需要 模糊 的 概念 ， 这 样 的 概念 不 是 一 个 确定 的 概 
念 ， 不 是 简单 的 对 与 错 可 以 判断 的 ， 但 是 我 们 希望 对 这 样 的 概念 进行 分 
开 从 而 得 出 一 个 确定 的 结论 ， 利 用 模糊 数学 的 方法 和 思维 去 处 理 模糊 概 
念 。1965 年 ， 美 国 的 扎 德 创立 了 模糊 集合 论 ， 模 糊 集合 论 是 用 来 描述 模 
糊 的 概念 的 ， 他 将 这 些 模糊 概念 作为 集合 ， 以 数学 为 基础 ， 研 究 这 些 不 
是 “ 非 黑 即 白 ” 的 状况 ， 通 过 建立 一 定 的 隶属 函数 ， 对 这 些 模糊 的 概念 进 
行 运算 。1973 年 ， 他 给 出 了 模糊 逻辑 控制 的 定义 和 相关 的 理论 。1974 
年 ， 英 国 的 马 姆 得 尼 (Mamdani) 用 模糊 控制 语句 组 成 模糊 控制 器 ， 这 
项 研究 第 一 次 在 锅炉 和 蒸汽 机 上 的 成 功 运用 标志 着 模糊 控制 论 的 诞生 。 


传统 的 控制 是 精确 的 ， 可 以 用 来 控制 简单 的 系统 ， 但 是 对 于 元 系 
、 变 量 多 、 信 息 多 而 且 概 念 模糊 的 系统 ， 传 统 的 控制 就 没有 办 法 做 到 
， 这 束 需 要 模糊 控制 的 出 现 。 模 糊 控 制 给 予 的 是 一 个 非 线 性 的 控制 ， 
智能 控制 的 范围 ， 除 了 有 系统 化 的 理论 外 ， 还 有 实际 的 经 验 来 操作 ， 
模拟 人 类 的 思维 ， 将 这 些 经 验 和 信息 转化 成 语言 ， 对 其 进行 推理 和 判 
断 ， 从 而 避 开 数学 方程 式 中 只 能 进行 规则 的 判断 ， 而 不 能 转化 和 学 习 经 
验 中 的 判断 信息 弊端 。 这 样 的 系统 对 于 人 工 智能 来 说 ， 是 至 关 重 要 的 。 

广义 的 模糊 系统 理论 是 指 推广 通常 的 系统 理论 得 到 的 ， 以 模糊 集合 
的 形式 表示 系统 所 含 的 模糊 性 并 能 处 理 这 些 模 糊 性 的 模糊 理论 ， 主 要 包 
括 模 糊 数 学 理论 、 模 糊 系统 、 模 糊 决 俩 和 模糊 逻辑 等 方面 的 内 容 。 


< 




















多 
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狭义 的 模糊 系统 理论 就 是 指 模糊 系统 ， 包 括 模糊 控制 、 模 糊 信号 处 
理 、 通 信 及 可 能 性 理论 不 确定 性 的 度量 等 《如 图 6-2 所 示 ) 。 


模糊 系统 模糊 决策 





模糊 逻辑 与 
人 工 智能 
模糊 集合 、|| 模糊 模糊 可 能 性 理论 、| [ 异 寡 逻辑 原理 
模糊 测度 、|| _ 控制 家 号 处 理 

模糊 分 析 、 
模糊 关系 等 





不 确定 性 的 | 近似 推理 、 模 
度量 糊 专 家 系统 





控制 器 设计 || | 模式 识别 


稳定 性 分 析 | | 图 像 处 理 


图 6-2 模糊 系统 理论 框架 
(2) 模糊 系统 分 类 


模糊 系统 主要 有 三 种 类 型 。 


一 种 是 纯 模 糊 逻 辑 系统 。 这 种 系统 仅 由 模糊 规则 库 和 模糊 推理 机 组 
成 ， 可 以 说 是 后 面 两 种 系统 的 基础 ， 因 为 它 的 输入 值 和 输出 值 都 是 模糊 
集合 (如 图 6-3 所 示 ) 。 







模糊 规则 库 





输入 模糊 集合 输出 模糊 集合 


模糊 推理 机 


图 6-3 纯 模糊 逻辑 系统 


在 应 用 的 时 候 我 们 需要 精确 的 数值 ， 因 此 ， 在 此 基础 上 ， 科 学 家 建 
立 了 另外 两 种 模型 高木- 关 野 (Takagi-Sugeno) 型 模糊 逻辑 系统 和 
Mamdani 型 模糊 系统 。 高 木 - 关 野 型 模糊 逻辑 系统 的 输出 值 在 没有 模糊 消 
除 器 的 情况 下 仍然 是 精确 值 ， 能 够 充分 利用 参数 估计 的 方式 来 确定 系统 
参数 ， 但 是 不 能 充分 利用 专家 知识 ， 其 自由 度 也 受到 一 定 限 制 。 
Mamdani 型 模糊 系统 是 在 纯 模糊 逻辑 系统 中 加 入 了 模糊 消除 器 和 模糊 产 
生 器 ， 所 以 其 输入 值 和 输出 值 都 是 精确 值 ， 这 个 系统 可 以 在 实际 的 工程 
中 广泛 应 用 (如 图 6-4 所 示 )。 





模糊 规则 库 


模糊 推理 机 模糊 消除 器 





图 6-4 Mamdani 型 模糊 系统 
模糊 控制 目前 在 我 们 的 生活 中 与 智能 控制 、 神 经 控制 、 算 法 优化 相 
结合 ， 并 为 其 提供 基本 的 理论 基础 。 这 些 结合 可 以 为 人 工 智 能 和 机 器 学 
习 提 供 很 好 的 内 部 程序 。 模 糊 控制 与 其 他 控制 方法 的 结合 产生 了 很 多 新 
的 火花 。 主 要 有 以 下 四 个 方 同 。 
QD 模糊 控制 与 智能 控制 的 结合 主要 应 用 在 模糊 PID 控 制 器 上 ， 这 种 
控制 喜 主 要 是 用 来 消除 误 兰 ， 增 加 稳 态 控制 性 能 ， 对 简单 的 线性 规划 进 


包 目 适应 模糊 控制 器 就 是 利用 上 自 适 应 控制 系统 的 理论 设计 的 控制 
项， 利用 目 适 应 系统 在 外 部 环境 改变 的 情况 下 自主 调节 控制 器 使 其 达到 
最 优 或 者 次 优 效果 的 特点 ， 改 变 控 制 规则 和 算法 。 

模糊 控制 与 神经 网 络 技 术 的 结合 是 利用 人 工 神 经 网 络 来 模拟 人 的 
直观 思维 的 方式 ， 由 单个 简单 神经 元 组 成 的 复杂 神经 元 网 络 可 以 增加 控 





制 系统 的 目 主 学 习 能 力 、 表 达能 力 ， 通 过 多 层 映 射 和 神经 网 络 来 实现 音 
分 或 全 部 的 模糊 控制 和 推理 。 

由 专家 控制 与 模糊 控制 可 以 提高 智能 水 平 ， 利 用 专家 系统 方法 注重 
知识 的 多 层次 和 分 类 这 一 特点 ， 吹 补 模糊 控制 规则 单一 的 缺点 ， 专 家 系 
统 对 于 知识 的 组 织 和 表达 可 以 有 效 增 加 模糊 系统 的 智能 程度 。 





(二 ) 模糊 系统 的 小 数据 特征 


模糊 理论 发 展 至 今 已 有 30 余 年 ， 目 前 ， 模 糊 系 统 在 理论 和 应 用 两 方 
面 都 取得 了 长 足 的 进步 ， 为 包括 模糊 控制 在 内 的 先进 技术 提供 了 强 有 力 
的 理论 文 撑 。 模 糊 系统 理论 在 运筹 分 机 、 社 会 科学 、 模 糊 控制 、 人 工 知 
能 、 调 查分 析 、 计 划 、 评 价 等 领域 均 有 应 用 ， 应 用 范围 非常 广泛 ， 从 工 
程 科技 到 社会 人 文科 学 都 可 以 及 现 模糊 理论 研究 的 踩 迹 与 成 果 。 下 面 我 
们 分 别 从 工程 科技 与 社会 人 文科 学 的 角度 ， 了 解 模糊 理论 应 用 的 范畴 。 


(1) 工程 科技 方面 


QD 型 样 识别 ， 文字 识别 、 指 纹 识 别 、 手 写字 体 辩 识 、 影 像 辩 识 、 语 
首 辨 识 。 

包 控 制 工程 : 机 器 人 控制 、 汽 车 控制 、 家 电 控 制 、 工 业 仪 表 控 制 、 
电力 控制 。 

@@ 信 号 及 资讯 处 理 : 影像 处 理 、 语 音 处 理 、 资 料 整 理 、 数 据 库 管 
理 9 

由 人 工 智能 及 专家 系统 : 故障 诊断 、 上 自然 语言 处 理 、 上 自动 翻译 、 地 
震 预 测 、 工 业 设 计 。 

环保 : 废水 处 理 、 净 水 处 理 三 工程 、 空 气 污染 检验 、 空 气 品质 监 














改 





@ 其 他 : 建筑 结构 分 析 、 化 工 制程 控制 。 
(2) 教育 、 社 会 及 人 文科 学 方面 


教育 : 教学 成 果 评 量 、 心 理 测验 、 性 向 测验 、 计 算 机 辅助 教学 。 

@ 心 理学， 心理 分 析 、 性 向 测验 。 

(决策 决定 : 决策 支援 、 决 策 分 析 、 多 目标 评价 、 综 合 评价 、 风 险 
分 析 。 

模糊 系统 有 以 下 几 个 小 数据 特点 。 


中 小 数据 的 规则 性 。 模 糊 控 制 是 有 规则 的 ， 这 个 规则 是 由 经 验 或 者 
知识 得 到 的 语言 控制 的 规则 。 虽 然 没 有 精确 的 数学 模型 和 函数 ， 但 是 这 
种 规则 更 具有 实用 性 ， 在 使 用 的 过 程 中 会 更 加 简单 。 对 于 动态 的 信息 ， 
模糊 系统 更 容易 获取 有 关 的 信息 和 分 析 ， 对 于 精确 的 控制 来 说 ， 捕 捉 动 
态 信息 并 利用 它们 是 很 难 的 ， 输 入 值 的 变化 会 让 系统 重新 运行 一 次 设 定 
的 函数 。 

小 数据 的 最 优 法 则 。 我 们 经 常 提 到 最 优化 选择 ， 在 错综复杂 的 条 
件 之 间 选 择 最 优 解 可 以 减少 机 喜 的 运行 。 模 糊 控制 算法 在 利用 规则 间 的 
模糊 链接 ， 更 容易 找到 这 种 最 优化 的 解 。 这 种 规则 有 利于 模仿 人 工控 制 
的 过 程 和 方法 ， 利 用 机 器 的 计算 可 以 比 人 工 考 虑 更 多 的 变量 ， 设 计 更 准 
确 的 路 线 ， 花 费 更 少 的 时 间 。 


GO 人 工 策略 的 小 数据 实现 。 尽 管 模 糊 控 制 不 能 自行 调节 算法 ， 但 是 
对 于 人 类 的 想法 ， 模 糊 控 制 可 以 更 好 地 实现 而 不 用 受制 于 传统 函数 的 约 
束 ， 但 模糊 控制 也 存在 精度 不 高 的 问题 ， 对 于 一 些 变量 的 处 理 可 能 并 不 
精确 。 








(三 ) 模糊 系统 中 的 模糊 数据 需求 : 大 数据 与 小 数据 





模糊 系统 的 数据 需求 自然 是 模糊 需求 ， 如 果 数 据 需求 是 确认 的 ， 那 
么 模糊 系统 早 就 是 传统 行业 和 技术 了 。 数 据 本 身 就 有 很 多 不 确定 性 和 无 
限 可 能 性 ， 模 糊 需求 是 这 一 切 的 开始 ， 而 且 模糊 的 程度 可 能 不 同 ， 它 也 
是 我 们 提 到 的 “大 数据 商业 模式 "和 “小 数据 价值 链 "的 关键 因素 。 例 如 ， 
初级 模糊 需求 ， 我 们 要 提高 订单 转化 率 ， 如 何 分 析 、 建 议 策略 、 测 试 运 
营 ? 而 高 级 模糊 需求 则 要 求 更 高 ， 例 如 ， 我 们 要 磊 覆 现 在 的 自助 游 ， 访 
给 用 户 什么 样 的 产品 体验 ? 

这 就 是 复杂 系统 的 机 会 ， 因 为 对 于 直接 关联 性 ， 其 实 不 需要 “复杂 
系统 ”就 可 以 有 部 分 成 果 了 。 例 如 ， 你 刚 在 网 购 平台 上 浏览 了 一 件 衣 
服 ， 系 统 马上 给 你 推荐 类 似 衣服 ， 总 有 一 定 转化 率 ， 如 果 复杂 关联 性 的 
旅游 ， 这 种 推荐 价值 就 小 多 了 。 用 户 需要 什么 ? 不 需要 复杂 的 流程 ， 也 
不 需要 花 过 多 时 间 研究 别人 的 攻略 〈 攻 略 是 每 个 人 的 主观 感受 ， 有 片面 
的 也 有 偏 移 的 ) ， 需 要 的 是 通过 模糊 的 需求 ， 让 大 数据 和 小 数据 循序 渐 
进 办 代 ， 帮 你 以 最 短 的 途径 找到 旅游 刚 需 、 内 心 潜在 的 需求 ( 行 、 住 是 
刚 需 ， 吃 喝 玩乐 需要 挖掘 内 心 需求 ) 。 





























(四 ) 智能 手套 ; 小 数据 的 采集 


传感器 现在 已 经 被 我 们 大 量 运用 于 生活 中 。 手 机 可 以 记录 自己 每 天 
走 的 步 数 ， 然 后 这 些 数据 传 入 微 信 中 ， 与 好 友 进 行 排名 。 可 罕 戴 设备 
中 ， 可 以 记录 睡眠 时 间 、 运 动 方 式 、 心 率 等 ， 还 有 感应 的 台灯 、 热 敏感 
应 右 ， 这 些 传 感 占 ， 除 了 有 一 定 的 用 途 外 ， 还 记录 了 个 人 数据 ， 这 些 传 
感 絮 的 应 用 有 时 候 让 我 们 觉得 很 神奇 。 

在 美国 ，Wii 游 戏 机 非 第 流行 ， 其 中 有 一 球 打 局 尔 夫 球 的 游戏 ， 对 
战 双方 通过 游戏 手柄 ， 感 应 肢体 的 实际 动作 ， 如 同 真 的 在 打 高 尔 夫 球 一 
样 ( 如 图 6-5 所 示 〉。 机 右 对 于 动作 的 识别 、 力 度 的 大 小 、 方 回 的 转 
移 ， 其 至 击 打动 作对 于 球体 的 旋转 都 有 不 同 的 反应 ， 让 人 在 对 游戏 惊奇 
之 余 很 好 奇 机 器 识别 动作 的 方法 ， 如 何 能 够 做 到 对 细微 的 调整 都 有 感 




















图 6-5 任天堂 发 布 Wii Sport 高 尔 夫 球 比 赛 游戏 
智能 手套 便 是 利用 模糊 控制 ， 完 成 对 于 动作 的 捕 提 和 分 析 输 出 。 除 





了 传感器 和 设 定 的 程序 外 ， 人 为 地 对 其 程序 进行 训练 和 记录 。 不 同 动 
作 、 不 同 细节 的 输入 ， 让 系统 学 习 它 的 含义 ， 通 过 大 量 的 训练 ， 使 智能 
手套 控制 系统 能 够 解析 不 同 动作 细微 的 差别 ， 学 习 控 制 反应 。 

日 本 富士 通 公 司 发 布 了 一 球 智 能 手套 (如 图 6-6 所 示 ) ， 是 手指 手 
套 的 样子 ， 这 种 手势 手套 庶 入 了 NFC 技 术 《〈 近 距离 无 线 通信 技术 ) 和 基 
于 手势 的 输入 控制 接口 ， 在 不 接触 的 情况 下 研究 出 手指 手势 识别 技术 ， 
能 够 识别 模糊 的 动作 实现 多 任务 的 运行 。 据 悉 ， 这 种 识别 技术 主要 是 利 
用 脐 部 的 背 届 位 置 ， 这 时 手掌 完全 反 转 ， 这 是 大 家 在 日 常 活动 中 不 常用 
的 姿势 ， 所 以 它 能 够 很 好 地 识别 操作 手势 和 普通 手臂 运动 。 此 外 ， 它 还 
定义 了 很 多 基于 肩 部 的 手势 ， 以 此 作为 坐标 系统 的 中 心 。 这 种 方式 很 好 
地 适应 了 每 个 人 之 间 的 手势 变化 ， 也 允许 使 用 很 多 不 同 的 姿势 进行 手势 
输入 ， 且 操作 的 姿势 不 会 让 人 难堪 。 


























图 6-6 智能 手套 恢复 训练 


这 种 智能 手套 可 以 通过 加 入 传感器 记录 个 体 的 操作 习惯 ， 通 过 观察 
和 学 习 个 体 的 差 寞 ， 了 人 解 每 个 人 的 操作 习惯 ,进而 能 够 更 好 地 掌握 每 个 
人 的 动作 力度 大 小 和 位 移 的 大 小 、 速 度 等 信息 ， 可 以 更 好 地 为 个 人 提供 
服务 。 





(五 ) 循 线 系统 : 小 数据 的 学 习 


让 机 器 人 行走 有 多 种 方式 ， 其 中 一 种 是 根据 地 上 的 标识 来 行走 ， 以 
移动 机 器 人 作为 载体 ， 使 用 红外 、 可 见 光 摄像 机 或 其 他 视 沉 传感器 来 完 
成 目 主 循 线 行走 路 线 。 在 空间 较 小 ， 地 面 障碍 物 不 多 的 情况 下 ， 循 线 机 
器 人 可 以 很 好 地 完成 相应 路 径 的 行走 。 

在 制作 循 线 系统 如 图 6-7 所 示 〉 训练 时 ， 我 们 通常 会 在 地 面 贴 上 
一 定 的 标识 ， 比 如 ， 与 地 面 闫 色相 差 较 大 的 线条 标识 。 我 们 希望 机 器 人 
能 够 在 扫描 地 面 的 时 候 ， 自 主 地 识别 出 标识 。 比 如 ， 地 面 是 灰 日 色 ， 那 


么 我 们 可 以 选择 使 用 黑色 的 胶带 作为 标识 ， 让 机 器 人 去 识别 。 如 果 和 是 黑 
色 地 面 ， 我 们 可 以 选择 红色 或 者 其 他 对 比 鲜明 的 颜色 。 对 于 这 样 的 机 器 
人 ， 我 们 会 预 完 设 定 程 序 ， 然 后 对 其 进行 “教育 ?。 由 于 干扰 项 的 数量 和 
质量 可 以 充当 标识 ， 我 们 可 以 利用 模糊 系统 对 其 进行 设 定 。 








图 6-7 循 线 系统 


假设 ， 我 们 现在 需要 利用 机 器 人 在 图 书馆 检索 图 书 ， 对 所 有 图 书 分 
区 域 进行 扫描 。 为 了 能 让 我 们 的 机 器 人 按照 指定 路 线 完 成 对 整个 图 书馆 
的 检索 ， 束 必须 让 其 拥有 沿 指定 路 线 行走 和 简单 的 趋 避 障碍 物 能 力 。 由 
于 书架 之 间 的 距离 很 近 ， 图 书馆 的 地 面相 对 平滑 工整 ， 我 们 在 每 两 个 书 
染 中 间 贴 上 黑色 的 线 并 且 设 置 干扰 项 ， 当 其 检测 到 干扰 项 的 时 候 ， 会 利 


用 模糊 系统 对 干扰 项 进行 分 析 ， 最 后 输出 干扰 项 是 否 是 干扰 项 的 数据 ; 
反之 ， 当 检测 到 我 们 设置 的 标识 时 ， 机 器 人 模糊 系统 会 进行 判断 ， 最 后 
给 出 其 是 否 是 标识 的 判断 ， 从 而 癌 前 行进 。 通 过 一 定 的 传 感 占 探测 地 面 
色调 过 异 的 两 种 色彩 ， 从 而 获得 引导 线 位 置 ， 修 正 机 器 人 运动 路 征 ， 感 
知 导 引线 相当 于 给 机 器 人 一 个 视觉 功能 ， 当 遇 到 障碍 物 的 时 候 ， 模 糊 控 
制 系 统 会 对 其 进行 反馈 ， 从 而 实现 减速 、 转 问 等 一 系列 的 动作 。 

人 循 线 系统 让 机 器 人 可 以 严格 遵循 我 们 制定 的 路 线 行进 ， 也 有 能 力 趋 
避 一 些 简 单 的 障碍 物 ， 增 强 机 器 人 在 无 人 环境 下 工作 的 稳定 性 ， 使 其 可 
以 完成 检索 图 书馆 不 同 区 域 的 任务 。 














(六 ) 模糊 控制 : 小 数据 的 应 用 


越 来 越 个 性 化 的 家 电 让 我 们 在 使 用 的 过 程 中 方便 了 很 多 。 新 型 家 电 
拥有 很 多 令 人 惊喜 的 功能 ， 比 如 ， 可 以 利用 程序 和 Wi-Fi 对 它们 进行 控 
制 。 上 班 前 ， 我 们 把 脏 衣 服 放 在 洗衣 机 里 ， 晚 上 下 班 前 ， 可 以 打开 程 
序 ， 设 定 洗 衣 时 间 ， 然 后 回 到 家 ， 刚 好 可 以 晾 衣服， 或 者 可 以 运行 程 
序 ， 清 洗 洗衣 机 、 冰 箱 ， 甚 至 还 可 以 自动 地 辨别 食物 的 腐 坏 。 当 食物 放 
在 冰箱 中 的 时 间 过 长 ， 冰 箱 会 日 动 提醒 食物 已 经 过 期 。 通 过 对 冰箱 杀菌 
的 扫描 ， 可 以 找到 过 期 或 者 腐 坏 的 食品 ， 设 置 提 醒 ， 让 主人 及 时 地 扔 掉 
腐 坏 食物 。 比 如 ， 把 榴 连 放 在 冰箱 中 ， 榴 和 连 的 气味 会 影响 冰箱 中 的 其 他 
食物 ， 甚 至 在 每 次 打开 冰箱 的 时 候 都 能 财 到 ， 有 时 会 影响 别人 的 生活 。 
这 种 智能 冰箱 就 可 以 通过 除 味 系统 将 冰箱 的 味 着 吸收 和 干 将， 再 次 打开 冰 
箱 的 时 候 就 不 用 担心 有 气味 而 不 敢 买 榴 连 吃 了 。 

除了 这 些 功能 ， 还 有 模糊 控制 对 家 电 的 影响 。 洗 衣 机 有 不 同 的 档 位 
调节 ， 针 对 不 同 的 衣物 、 不 同 的 洗衣 时 间 需 求 和 供水 的 需求 等 ， 比 如 ， 
快 洗 程 序 跟 第 规程 友 的 使 用 方法 就 不 一 样 ， 可 以 同步 进行 深 洗 、 脱 水 、 
甩 干 等 。 洗 衣 机 在 设 定 同一 程序 的 时 候 ， 也 会 有 衣物 多 少 不 同 的 问题 。 
模糊 控制 针对 衣物 重量 、 材 质 对 洗衣 程序 进行 模糊 控制 ， 对 少量 衣物 ， 








用 少量 的 水 来 清洗 ， 对 大 量 衣物 ， 使 用 大 量 的 水 来 洗涤 ， 确 定 不 同 的 水 
位 高 低 、 时 间 长 短 。 相 对 传统 洗衣 机 无 论 重 量 多 少 、 数 量 多 少 都 采取 同 
样 的 水 位 、 同 样 的 清洗 方式 来 次 ， 新 型 洗衣 机 可 以 减少 对 衣物 的 磨损 、 
缠绕 和 资源 的 浪费 。 


四 、 小 数据 创新 小 数据 系统 的 友 展 


(一 ) 小 数据 系统 与 小 数据 
(1) 小 数据 系统 简 作 


小 数据 在 个 人 行为 分 析 中 有 许多 应 用 。 智 能 手机 收集 的 数据 对 于 个 
人 行为 分 析 非 常 有 用 ， 因 为 智能 手机 无 处 不 在 ， 人 们 去 哪里 都 会 携带 智 
能 手机 。 截 至 2016 年 ， 美 国有 72% 的 人 口 拥 有 智能 手机 。 同 时 ， 随 着 手 
机 上 传感器 的 应 用 ， 我 们 日 常生 活 的 行为 活动 都 能 够 被 口袋 中 的 智能 手 
机 记录 ， 比 如 ， 步 行 、 跑 步 、 骑 行 以 及 GPS 〈 全 球 定 位 系统 ) 与 导航 功 
能 。 智 能 手机 同时 还 具有 回顾 性 自我 报告 的 自我 监控 方法 ， 人 们 在 准确 
回忆 先前 事件 时 容易 出 现 错误 和 偏见 ， 而 智能 手机 有 具有 在 日 常生 活 中 更 
接近 实时 参与 者 支持 活动 数据 捕获 的 优势 。 智 能 手机 数据 能 够 用 来 实施 
慢性 病 预 防 和 管理 、 自 由 行为 研究 以 及 自我 管理 。 一 些 慢性 疾病 ， 如 糖 
尿 病 、 哮 跨 或 者 肥胖 ， 发 现 和 治疗 过 程 大 多 发 生 在 患者 日 常生 活 中 ， 而 
不 是 临床 环境 中 。 所 以 在 过 去 几 年 ， 许 多 智能 手机 应 用 程序 能 够 收集 并 
共享 患者 的 相关 健康 数据 以 便 更 快速 地 使 患者 得 到 最 佳 治疗 。 风 湿 病 的 
治疗 可 以 通过 智能 手机 对 患者 病情 活动 的 监测 给 医生 提供 实时 信息 ， 同 
时 收集 相关 患者 日 党 移动 指数 〈 活 动情 况 如 步行 时 间 、 步 行 速度 、 步 行 
距离 等 ) ， 通 过 加 权 平 均值 进行 反馈 ， 心 血管 疾病 的 治疗 可 以 根据 智能 
手机 对 于 患者 饮食 与 体重 的 监测 提供 反馈 意见 。 除 了 对 慢性 疾病 的 监 
测 ， 智 能 手机 数据 还 可 以 为 人 们 提供 自我 管理 的 机 会 ， 通 过 数据 收集 和 
个 性 化 反馈 ， 帮 助 用 户 了 解 自身 的 健康 状况 ， 鼓 励 用 户 选 择 健康 的 生活 
pe 














小 数据 系统 指 的 是 为 个 人 定制 的 、 更 直接 和 亲自 收集 小 数据 而 设计 
的 服务 和 工具 。 小 数据 系统 通过 重组 多 样 化 、 跨 渠 道 的 信息 ， 创 建 了 一 
个 更 一 致 、 更 具有 可 操作 性 的 数据 收集 系统 ， 用 于 改善 我 们 的 健康 、 生 
产 力 等 ， 我 们 通过 网 络 来 接受 这 种 服务 。 这 与 传统 的 以 提供 者 为 中 心 的 
服务 不 同 ， 服 务 只 关注 并 访问 在 其 平台 内 发 生 的 行为 的 局 部 视图 。 


(2) 小 数据 系统 进展 


生命 流 系 统 〈Lifestreams) 是 加 州 大 学 科研 团队 建立 的 一 种 用 于 小 
数据 行为 分 析 的 模块 化 数据 分 析 工 具 集 ， 主 要 包括 设计 技术 挑战 、 设 计 
原则 以 及 四 个 软件 模块 《特征 提取 、 特 征 选择 、 聚 合 推理 和 可 视 化 管 
理 》， 


中 设计 技术 挑战 包括 了 智能 手机 数据 转换 和 减少 信息 过 载 。 手 机 传 
感 露 的 原始 数据 并 不 能 直接 用 于 分 析 ， 因 此 需要 特定 的 数据 转换 技术 来 
提取 与 这 些 数据 相关 的 程序 特征 。 例 如 ， 由 一 系列 GPS 坐标 和 Wi-Fi 信 
号 组 成 的 原始 位 置 数据 与 行为 分 析 几 乎 无 天， 使 用 智能 手机 数据 进行 行 
为 分 析 的 前 提 是 我 们 可 以 从 这 些 数据 中 发 现 问题 ， 根 据 数 据 从 而 改善 护 
理 人 员 的 决策 。 不 洱 的 是 ， 护 理 人 员 已 经 处 于 信息 超载 的 边缘 ， 平 均一 
个 初级 保健 医师 每 周 可 能 会 收 到 1 ”000 份 测试 结果 ， 所 以 要 求 我 们 提供 
的 数据 能 够 有 临床 相关 性 ， 通 过 多 次 研究 来 确定 真正 有 用 的 数据 ， 以 减 
少 护理 人 员 的 工作 量 。 


在 实验 中 ， 团 队 用 推理 方法 对 一 个 数据 集 提 出 了 三 组 分 析 结 果 ， 以 
帮助 理解 一 个 真实 的 行为 研究 数据 集 。 此 数据 集 为 年 轻 妈妈 的 饮食 、 压 
力 和 运动 。 通 过 2012 年 1 月 一 2013 年 3 月 对 56 名 居住 在 洛杉矶 地 区 的 年 轻 
妈妈 进行 研究 。 共 有 54 名 妈妈 完成 了 研究 任务 ， 其 中 44 名 妈妈 使 用 了 智 
能 手机 收集 数据 ， 她 们 肤色 各 异 ， 年 龄 在 18~40 岁 之 间 ，15 名 妈妈 全 职 
工作 ，24 名 兼职 ，17 名 在 家 工作 。 参 与 者 可 以 选择 打开 或 关闭 移动 数据 
收集 。 从 44 名 妈妈 那里 收集 了 3 834 天 的 行动 数据 ， 最 少 5 次 ， 最 多 202 
次 ， 平 均 87 次 。 由 于 所 有 妈妈 的 整个 学 习 日 数 为 7 272 天 ， 参 与 者 平均 





























在 学 习 期 间 的 一 半 时 间 内 提供 了 移动 数据 。 除 了 进行 数据 收集 ， 还 进行 
了 15 599 份 问题 调查 。 


@)Lifestreams 运 用 了 相关 的 推理 方法 进行 分 机， 如， 个 体 三 维 相关 
矩阵 、 单 功能 变化 监测 、 成 对 相关 变化 检测 等 。 这 些 推理 方法 确定 了 重 
要 的 行为 趋势 和 模式 ， 并 且 在 与 参与 者 进行 的 后 续 访 谈 中 对 其 准确 性 进 
行 了 定性 验证 。 

@ 此 外 ，Lifestreams 被 发 现 有 助 于 协调 研究 员 快 速 浏 览 数据 并 提供 
视觉 辅助 工具 ， 以 便 在 面试 会 议 期 间 同 与 会 者 介绍 讨论 。Lifestreams 被 
设计 为 可 扩展 的 系统 ， 可 以 被 广泛 应 用 到 包含 不 同 数据 流 的 不 同 研究 
中 。 我 们 通过 将 Lifestreams 扩 展 性 应 用 于 具有 独特 需求 和 新 类 型 数据 流 
的 两 项 额外 研究 来 评估 Lifestreams 的 可 扩展 性 。 最 终 ， 研 究 人 员 将 开发 
可 大 大 提高 以 患者 为 护理 中 心 的 个 性 化 和 精确 性 的 干预 措施 。 


(3) 小 数据 系统 的 挑战 


开发 和 维护 现实 世界 的 小 型 数据 系统 也 面临 许多 需要 解决 的 系统 挑 
战 。 小 数据 是 我 们 与 周围 世界 互动 的 存储 的 “数字 痕迹 ”。 当 我 们 使 用 维 
护 日 志 的 工具 和 服务 时 ， 这 些 跟踪 被 动产 生 : 人 信用卡、 杂货 收 据 、 网 站 
和 其 他 流 媒 体内 容 服 务 ， 浏 览 器 本 里 等 。 小 数据 的 系统 挑战 主要 为 : 数 
据 互 操作 性 。 小 数据 系统 的 力量 往往 来 自 将 个 人 用 户 最 初 锁定 在 不 同 数 
据 库 中 的 多 种 信息 相 结合 的 能 力 。 这 些 数 据 来 自 不 同 的 服务 提供 商 ， 通 
党 具有 不 同 的 模式 和 格式 。 大 量 开发 工作 用 于 与 大 量 外 部 服务 进行 接 
口 ， 转 换 不 同 的 数据 格式 并 保持 不 同 数据 模式 的 一 臻 性， 并且 通常 会 导 
致 过 上 度 复杂 的 应 用 程序 逻辑 。 在 数据 管理 与 安全 上 ， 小 数据 系统 与 许多 
在 线 系统 不 同 ， 因 为 它们 消耗 的 大 部 分 数据 不 是 本 地 生成 的 ， 而 是 来 自 
各 种 外 部 来 源 。 大 多 数 原 始 来 源 〈 例 如 Google、Facebook 等 ) 将 用 户 数 
据 持 久保 存在 自己 的 数据 库 中 ， 并 分 别提 供 安全 和 访问 控制 。 解 决 存储 
效率 、 数 据 安 全 性 和 可 用 性 之 间 的 紧张 关系 是 小 数据 应 用 开发 人 员 面 临 
的 另 一 个 挑战 。 














针对 这 些 限 制 ，Lifestreams 进 行 了 几 项 改进 ， 提 出 了 Lifestreams 
DB。 其 中 运用 的 策略 有 ， 与 RDF 项 目 集成 ， 通 过 几 个 轴 专 门 扩 展 小 数 
据 架 构 和 Lifestreams DB， 和 希望 与 更 多 分 布 式 / 用 户 控制 的 身份 验证 形式 
《如 WebID) 进行 整合 ， 这 将 使 我 们 能 够 与 数据 提供 者 所 使 用 的 号 份 及 
离 联系 。 提 高 安全 性 和 加 强 保护 隐私 ， 在 相关 说 明 中 ， 可 以 做 出 许多 改 
进 ， 以 确保 处 理 后 的 数据 不 会 损害 原始 数据 源 ， 并 且 在 敏感 的 情况 下 选 
择 性 地 控制 哪些 人 可 以 使 用 已 处 理 的 数据 。 提 出 了 “功能 信息 共享 ”的 共 
享 数 据 方 法 ， 和 希望 通过 诸如 可 信 平 台 模 块 CTPM) 等 硬件 工具 ， 使 用 公 
开 密 钥 认 证 的 系统 之 间 的 映 份 验证 ， 以 及 详细 说 明 数 据 如 何 与 撤销 机 制 
一 起 使 用 的 细 粒 度 安 全 策略 来 实现 此 目标 。 文 持 小 数据 生态 系统 ， 通 过 
继续 实施 小 数据 系统 ， 持 续 研 究 有 效 和 安全 的 手段 来 处 理 和 分 享 小 数 
据 ， 并 提供 参考 实施 /基础 设施 组 件 来 文 持 发 展 ， 促 进 小 数据 生态 系统 
的 发 展 。 


(二 ) 小 数据 系统 的 小 数据 特征 


Lifestreams 团 队 提出 了 一 个 新 的 以 用 户 为 中 心 的 推荐 模式 ， 称 为 沉 
漫 式 建议 。 利 用 个 人 用 户 的 跨 平台 小 数据 提出 建议 ， 满 足 用 户 的 多 样 化 
需求 和 兴趣 ， 目 标 古 使 用 小 数据 创建 未 来 超人 性 化 的 内 容 、 娠 乐 和 工 
具 ， 使 每 个 人 都 能 有 选择 地 从 这 些 生成 的 透明 数据 中 受益 。 沉 浸 式 建议 
是 以 用 户 为 中 心 的 推荐 模式 ， 其 中 推荐 系统 通过 用 户 自 己 访问 不 同 平台 
上 保存 的 广泛 用 户 的 小 数据 ， 并 创建 单一 服务 提供 商 可 能 无 法 使 用 的 用 
户 偶 好 的 综合 视图 捕捉 。 这 与 传统 的 以 供应 丙 为 中 心 的 模式 相反 ， 例 
如 ， 我 们 在 亚马逊 或 Netflix《 共 飞 公 司 ) 上 看 到 的 建议 中 只 有 这 些 平 台 
上 的 通道 内 踩 迹 用 于 提出 建议 。 

沉浸 式 建议 同样 有 诸多 技术 挑战 。 第 一 ， 非 结构 化 多 样 小 数据 的 分 
析 。 以 前 ， 推 荐 系统 中 大 多 数 的 工作 仪 考虑 了 有 关 用 户 的 简单 人 口 统计 
言 忠 。 相 比 之 下 ， 里 临 其 境 的 建议 使 用 非 结构 化 、 动 态 和 高 维 数字 痕 








迹 ， 例 如 ， 社 交 媒 体 记录 和 用 户 生 成 的 个 人 通信 和 跟踪， 以 实现 高 度 个 性 
化 的 推荐 。 如 何 去 除 小 数据 并 将 其 转化 为 可 用 于 推荐 系统 的 有 用 的 用 户 
配置 文件 ， 这 是 沉浸 式 推 荐 的 主要 挑战 。 第 二 ， 根 据 沉 浸 式 用 户 个 人 资 
料 提出 建议 。 构 建 实 用 的 沉浸 式 推荐 系统 需要 新 颖 的 建议 模型 来 结合 广 
泛 的 信息 ， 包 括 : 也 从 用 户 的 小 数据 中 提取 的 沉浸 式 用 户 简 档 ; @ 用 户 
对 项 目的 有 反馈， 如 评级 和 点 击 量 ; @@ 项 目 信 息 。 如 何 融 合 这 些 不 同 的 信 
恩 线 索 ， 为 用 户 提 供 个 性 化 的 建议 一 一 即使 他 们 刚刚 开始 使 用 系统 
并 且 在 有 更 多 用 户 反 馈 的 情况 下 快速 调整 建议 将 是 我 们 在 沉浸 式 建议 中 
需要 解决 的 重大 技术 问题 。 

Lifestreams 软 件 主要 的 创新 点 为 : 也 提出 了 沉浸 式 建议 ， 一 种 以 用 
户 为 中 心 的 新 推荐 模式 ， 利 用 用 户 多 样 化 的 个 人 数字 退 踪 ， 为 用 户 提供 
建议 ; 包 提 出 了 一 种 新 颖 的 算法 ， 混 合 协同 过 滤 算 法 ， 它 同时 利用 多 样 
性 的 小 数据 推断 用 户 的 兴趣 ， 抑 制 不 同上 下 文 引 入 的 噪声 ;，@) 提 出 了 一 
种 新 额 的 推荐 模式 一 一 协同 用 户 项 回归 ， 人 和 仔细 融合 用 户 项 目 简 介 和 评级 
言 息 ， 以 达到 超越 最 先进 的 推荐 准确 上 度 ， 还 可 以 为 新 用 户 提 供 建议 并 快 
速 微调 根据 用 户 反 馈 的 建议 ;由 进行 了 大 规模 的 离线 评估 ， 小 型 用 户 研 
究 和 现实 服务 部 署 ， 以 探索 这 一 新 推荐 模型 在 两 个 关键 应 用 领域 的 可 行 
性 和 有 效 性 。 























(三 ) 分 布 式 云 计 算 和 小 系统 大 平台 : 大 数据 与 小 数据 


云 计算 (Cloud Computing) 是 基于 互联 网 的 相关 服务 的 增加 、 使 用 
和 交付 模式 ， 通 常 通过 互联 网 来 提供 动态 易 扩 展 ， 且 经 常 是 虚拟 化 的 资 
源 。“ 云 "是 网 络 、 互 联网 的 一 种 比喻 说 法 。 过 去 在 图 中 往往 用 云 来 表示 
电信 网 ， 后 来 也 用 来 表示 抽象 的 互联 网 和 底层 基础 设施 。 因 此 ， 云 计算 
甚至 可 以 让 你 体验 每 秒 10 万 亿 次 的 运算 能 力 ， 拥 有 这 么 强大 的 计算 能 
可 以 模拟 核 焊 炸 、 预 测 气候 变化 和 市 场 发 展 趋势 。 用 户 通过 计算 机 、 笔 
记 本 电脑 、 手 机 等 方式 接 入 数据 中 心 ， 按 自己 的 需求 进行 运算 。 














对 云 计 算 的 定义 至 少 可 以 找到 100 种 解释 。 现 阶段 广 为 采 用 的 是 美 
国 国 家 标准 与 技术 研究 院 CNIST) 的 定义 : 云 计 算是 一 种 按 使 用 量 付 
费 的 模式 ， 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访 问 ， 进 入 可 配 
置 的 计算 资源 共享 池 【 资 源 包 括 网 络 、 服 务 器 、 存 储 、 应 用 软件 、 服 
务 ) ， 这 些 资源 能 够 被 快速 提供 ， 只 需要 投入 很 少 的 管理 工作 ， 或 与 服 
务 供应 商 进行 很 少 的 交互 。 

分 布 式 系统 (Distributed System) 是 建立 在 网 络 之 上 的 软件 系统 。 
正 是 因为 软件 的 特性 ， 所 以 分 布 式 系统 具有 高 度 的 内 聚 性 和 透明 性 。 
此 ， 网 络 和 分 布 式 系统 之 间 的 区 别 更 多 的 在 高 层 软 件 (特别 是 操作 系 
统 ) ， 而 不 是 人 硬件。 内 聚 性 是 指 每 一 个 数据 库 分布 节 点 高 上 度 自治 ， 有 本 
地 的 数据 库 省 理 系统 。 透 明 性 是 指 每 一 个 数据 库 分 布 节 点 对 用 户 的 应 用 
来 说 都 是 透明 的 ， 看 不 出 是 本 地 还 是 远程 。 在 分 布 式 数据 库 系 统 中 ， 用 
户 感觉 不 到 数据 是 分 布 的 ， 即 用 户 不 需要 知道 关系 是 否 分 割 、 有 无 副 
本 、 数 据 存 于 哪个 站 点 以 及 事务 在 哪个 站 点 上 执行 等 。 

全 球 数据 中 心平 台 与 生态 系统 逐渐 匹配 ， 互 联 平台 为 实现 面 问 互 联 
的 体系 结构 提供 关键 的 构建 模块 ， 并 且 重 新 定义 数据 中 心 角 色 的 关键 技 
术 也 日 趋 成 熟 。 随 大 移动 互联 网 、 移 动 终 并 和 数据 感应 器 的 出 现 ， 数 据 
以 超出 人 们 想象 的 速度 在 快速 增长 。 近 年 来 ， 在 互联 网 时 代 与 宽带 提速 
这 一 趋势 下 ， 国 内 数据 量 正 不 断 增 多 ， 我 国 网 民 与 互联 网 普及 率 不 断 提 
高 ， 数 字 存 储 信息 呈现 快速 提升 的 态势 ， 大 数据 应 用 成 为 企业 掘 金 的 新 
方向 ， 除 了 企业 数据 以 外 ， 人 们 开始 关注 个 人 小 数据 ， 以 及 与 之 相关 的 
独立 主权 、 数 据 永生 。 由 此 带 来 的 无 限 商 机 ， 将 引发 个 人 小 数据 红利 焊 
发 ， 开 局 个 人 数据 中 心 新 时 代 。 


现在 的 时 代 是 数据 由 各 种 前 人 台 终 端 收集 ， 通 过 宽带 网 络 ， 连 接 到 后 
台 的 云端 进行 处 理 ， 最 终 存 储 到 由 各 种 机 构 所 拥有 的 数据 中 心里 。 从 数 
据 中 心 到 云 计算 到 大 数据 ， 最 后 到 人 工 智能 ， 一 脉 相 承 。 未 来 云 计 算 的 
发 展 趋势 包括 : 全 球 化 基础 设施 扩张 加 速 ， 大 型 企业 拥抱 云 计 算 ， 混合 
IT 染 构 及 展 和 物 联网 (IoT)〉 爆 及 。 相 应 大 数据 的 发 展 趋势 包括 : 数据 









































总 量 呈 指数 型 爆炸 性 增长 ， 数 据 的 结构 发 生 了 巨大 变化 ， 数 据 的 组 织 也 
发 生 了 巨大 的 变化 。 人 类 的 智能 包含 感知 和 认 知 两 大 方面 ， 人 工 智 能 将 
随 着 更 多 的 数据 、 强 大 的 运算 能 力 和 深度 学 习 而 加 速 突破 ， 每 一 个 商业 
应 用 都 会 被 新 人 工 智能 所 题 履 。 正 如 《人 类 简 史 》《 未 来 简 史 》 中 所 指 
出 的 那样 : 认 知 是 人 类 前 进 的 唯一 武器 ， 数 据 时 代 和 人 工 智能 是 智 人 未 
来 演化 的 大 方向 。 从 猴 人 到 智 人 ， 再 从 智 人 到 神 人 ， 人 类 是 想象 力 的 共 
同体 ， 并 产生 了 这 个 时 代 的 “资本 ”一 一 信息 。 大 数据 时 代 的 到 来 ， 分 至 
与 体验 是 未 来 的 主体 ， 并 逐渐 明 着 人 工 智 能 这 个 方 同 演 化 。 

















(四 ) 大 数据 运算 的 分 布 式 系统 :， 以 小 总 多 


在 云 计算 环境 下 ， 软 件 技术 、 以 构 将 发 生 显著 变化 。 一 是 所 开 及 的 
软件 必须 与 云 相 适应 ， 能 够 与 以 虚拟 化 为 核心 的 云 平 台 有 机 结合 ， 适 应 
运算 能 力 、 存 储 能 力 的 动态 变化 ;二 是 要 能 够 满足 大 量 用 户 的 使 用 ， 包 
括 数据 存储 结构 、 处 理 能 力 ; 三 是 要 互联 网 化 ， 基 于 互联 网 提供 软件 的 
应 用 ; 四 是 安全 性 要 求 更 高 ， 可 以 抗 攻击 ， 并 能 保护 私有 信息 ; 五 是 可 
工作 于 移动 终端 、 手 机 、 网 络 计 算 机 等 各 种 环境 。 


在 云 计算 环境 下 ， 软 件 开 发 的 环境 、 工 作 模 式 也 将 发 生变 化 。 虽 然 
传统 的 软件 工程 理论 不 会 发 生根 本 性 的 变革 ， 但 基于 云 平 台 的 开发 工 
有 具 、 开 发 环境 、 开 发 平台 将 为 敏捷 开发 、 项 目 组 内 协同 、 异 地 开发 等 珊 
来 便利 。 软 件 开发 项 目 组 内 可 以 利用 云 平台 ， 实 现在 线 开发 ， 并 通过 云 
实现 知识 积累 、 软 件 复 用 。 

在 云 计算 环境 下 ， 软 件 产品 的 最 终 表现 形式 更 为 丰富 多 样 。 在 云 平 
台 上 ， 软 件 可 以 是 一 种 服务 ， 如 SAAS 〈 软 件 即 服务 ) ， 可 以 是 一 个 
Web Services (网 络 服务 ) ， 也 可 以 是 在 线 下 载 的 应 用 ， 如 苹果 的 在 线 
商店 中 的 应 用 软件 等 。 

在 云 计算 环境 下 ， 为 了 适应 大 数据 运算 的 需要 ， 我 们 需要 把 系统 进 
行 分 布 式 部 车 。 分 布 式 系统 又 称 为 分 布 式 计算 机 系统 ， 它 是 指 将 多 台 小 








型 微型 机 互联 组 成 的 一 种 新 型 计算 机 系统 。 它 突破 了 传统 的 集中 式 单机 
局 面 ， 从 分 散 处 理 的 概念 出 发 来 组 织 计算 机 系统 ， 具 有 较 高 的 性 价 比 ， 
灵活 的 系统 可 扩充 性 ， 良 好 的 实时 性 、 可 靠 性 与 容错 性 等 潜在 优点 ， 是 
近 几 年 来 计算 机 科学 技术 领域 中 极 受 重视 的 新 型 计算 机 系统 ， 现 已 成 为 
迅速 发 展 的 一 个 新 方向 。 

分 布 式 系统 无 主 从 区 分 ， 计 算 机 之 间 交 换 信息 、 资 源 共 享 、 相 互 协 
作 完 成 一 个 共同 任务 。 通 过 多 路 传输 数据 点 线 ， 将 主机 和 若干 台 外 围 处 
理 机 连 成 一 个 整体 ， 共 同 担负 整个 计算 功能 的 系统 。 主 机 专门 从 事 计算 
量 大 的 数值 计算 ， 外 围 处 理 机 则 承担 系统 的 控制 操作 。 其 优点 是 : 加 快 
了 机 器 的 运算 速度 ， 简 化 了 主机 的 逻辑 结构 ， 使 操作 系统 在 一 定 程度 上 
得 到 了 优化 。 故 现代 大 型 武器 系统 的 设计 ， 常 采用 分 布 式 计算 机 系统 。 

分 布 式 系统 的 主要 功能 包括 以 下 几 个 方面 。@ 通 信 结 构 是 指 支持 各 
个 计算 机 联网 ， 以 提供 分 布 式 应 用 的 软件 。 在 分 布 式 系统 中 ， 尽 管 每 台 
计算 机 都 有 自己 独立 的 操作 系统 ， 并 且 这 些 计算 机 和 操作 系统 的 种 类 又 
可 以 是 不 同 的 ， 但 是 它们 都 支持 同样 的 通信 结构 。 加 提供 网 络 服务 功 
能 ， 分 布 式 系统 的 硬件 环境 是 计算 机 网 络 ， 系 统 中 的 个 人 计算 机 可 以 是 
单 用 户 工作 站 或 服务 器 ， 因 此 它 需 要 由 网 络 操作 系统 进行 管理 并 提供 网 
络 服务 功能 。@ 分 布 式 操作 系统 (透明 性 ) ， 有 一 个 公共 的 分 布 式 操作 
系统 ， 各 计算 机 共享 一 个 公共 的 分 布 式 操作 系统 。 分 布 式 操作 系统 由 内 
核 以 及 提供 各 种 系统 功能 的 模块 和 进程 组 成 。 系 统 中 的 每 一 台 计算 机 者 
必须 保存 分 布 式 操作 系统 的 内 核 ， 以 实现 对 计算 机 系统 的 基本 控制 。 


分 布 式 操作 系统 除了 包括 单机 操作 系统 的 主要 功能 外 ， 还 应 该 包括 
分 布 式 进程 通信 、 分 布 式 文件 系统 、 分 布 式 进程 迁移 、 分 布 式 进程 同步 
和 分 布 式 进程 死 锁 等 功能 。 

分 布 式 进程 通信 。 分 布 式 系 统 的 进程 通信 是 由 分 布 式 操作 系统 所 所 
供 的 一 些 通信 穆 语 来 实现 的 。 但 由 于 分 布 式 系 统 中 没有 共享 内 存 ， 这 些 
原 语 需要 按照 通信 协议 的 约定 和 规则 来 实现 。 与 分 布 式 进程 通信 有 关 的 
主要 概念 包括 : 通信 协议 ， 分 布 式 环境 中 的 客户 /服务 器 工作 模式 ， 进 

















程 通信 的 消 轧 传递 方法 和 远程 过 程 调用 方法 。 

分 布 式 文件 系统 。 分 布 式 文 件 系 统 是 允许 通过 网 络 来 互联 并 使 不 同 
机 器 上 的 用 户 共 享 文件 的 系统 。 它 能 够 让 运行 它 的 所 有 主机 共享 ， 并 可 
以 管理 操作 系统 内 核 和 文件 系统 之 间 的 通信 。 

分 布 式 进程 迁移 。 分 布 式 进程 迁移 是 指 由 进程 原来 运行 的 机 器 《〈 称 
为 原 机 器 ) 回 目 标 机 器 《准备 迁 往 的 机 堪 ) 传送 足够 数量 的 有 关 进 程 状 
态 的 信息 ， 使 该 进程 能 在 男 一 机 右上 运行 。 

分 布 式 进程 同步 。 在 分 布 式 系统 中 ， 各 处 理 机 没有 共 胖 内 存 和 统一 
的 时 钟 ， 因 此 分 布 式 进程 同步 必须 对 不 同 处 理 机 中 所 发 生 的 事件 进行 排 
序 ， 还 应 该 配 有 性 能 较 好 的 分 布 式 同步 算法 ， 以 保证 为 实现 进程 同步 所 
付出 的 开销 较 小 。 

分 布 式 进程 死 锁 。 在 分 布 式 系统 中 ， 也 可 能 会 因 进程 竞争 资源 而 引 
起 死 锁 。 对 单 处 理 机 系统 中 讨论 过 的 死 锁 对 策 只 要 稍 加 修改 ， 就 可 用 于 
多 处 理 机 系统 。 例 如 ， 只 要 在 系统 事件 之 间 简 单 地 定义 一 个 全 序 ， 有 序 
资源 分 配 死 锁 预 防 技 术 就 可 用 于 分 布 式 系统 。 


(五 ) 大 数据 时 代 的 小 数据 中 心 : 以 小 见 大 


网 络 空间 的 有 发展， 即将 迎 来 个 人 数据 中 心 〈 小 数据 中 心 ) 的 新 时 
代 。1998 年 ， 福 利 分 房 转变 为 个 人 购房 ， 成 为 中 国 个 人 房地产 发展 的 元 
年 ， 而 2018 年 是 个 人 数据 中 心 的 元 年 ， 新 一 轮 大 规模 的 数据 中 心 产 业 化 
浪潮 即将 到 来 ! 一 半 是 人 、 一 半 是 机 器 的 “ 半 机 需 人 ”并 不 遥远 ， 未 来 网 
络 空间 基础 设施 面临 重组 ! 依据 《中 华人 民 共 和 国民 法 总 则 》 条 球 中 
的 “个 人 信息 权 是 公民 的 基本 民事 权利 *”， 在 大 数据 聚合 时 代 下 ， 个 人 有 
需求 并 有 权利 通过 个 人 数据 中 心 去 连接 各 种 应 用 与 服务 、 数 据 计 算 并 存 
储 在 个 人 数据 中 心中 ， 以 防止 被 他 人 人 收集、 使 用 、 加 工 和 传输 。 相 应 
地 ， 对 个 人 数据 中 心 的 技术 和 商务 要 求 将 包括 : 数据 的 私密 性 、 数 据 的 








安全 性 、 数 据 的 永生 性 ， 及 数据 的 不 可 被 利用 和 不 可 算 改 性 。 未 来 ， 每 
个 人 都 将 有 属于 目 己 的 个 人 数据 中 心 ， 可 在 其 中 进行 数据 运算 形成 个 人 
所 需 的 结果 ， 个 人 数据 与 其 他 应 用 和 服务 之 间 联 结 ， 与 家 人 、 朋 友 以 及 
同事 进行 共享 。 基 于 个 人 的 大 数据 和 人 工 智能 ， 必 将 引出 个 人 生命 导师 
通过 个 人 小 数据 实现 的 针对 个 人 订 制 的 建议 和 借鉴 ， 以 及 为 个 人 小 
数据 、 个 人 数据 中 心 、 个 人 人 工 刹 能 和 个 人 生命 导师 而 衍生 制订 的 各 种 
服务 和 应 用 。 








一 、 小 数据 的 现象 本 质 








现象 和 本 质 是 揭示 客观 事物 的 外 在 联系 和 内 在 联系 相互 天 系 的 一 对 
范畴 。 现 象 是 事物 的 外 部 联系 和 表现 特征 。 现 象 中 分 真相 和 假象 ， 真 相 
是 从 正面 表现 本 质 的 现象 ， 假 象 是 从 反面 企 曲 表现 本 质 的 现象 。 本 质 是 
事物 的 根本 性 质 ， 是 组 成 事物 基本 要 素 的 内 在 联系 。 








(1) 现象 和 本 质 的 辨证 关系 


QD 现象 和 本 质 是 对 立 的 。 现 象 和 本 质 有 明显 的 差别 。 现 象 是 事物 的 
外 在 方面 ， 是 表面 的 、 多 变 的 、 丰 富 多 彩 的 ;本 质 是 事物 的 内 在 方面 ， 
是 深 藏 的 、 相 对 稳定 的 、 比 较 深刻 、 单 纯 的 。 因 而 现象 是 可 以 直接 认识 
的 ， 本 质 则 只 能 间接 地 被 认识 。 


@ 现 象 和 本 质 是 统一 的 。 一 方面 两 者 是 相互 依存 的 。 现 象 是 本 质 的 
现象 ， 本 质 是 现象 的 本 质 。 也 融 是 说 ， 本 质 只 能 通过 现象 表现 出 来 ， 现 
象 只 能 是 本 质 的 显现 ， 它 们 之 间 是 表现 和 被 表现 的 关系 。 任 何 一 方 离 开 
本 男 一 方 部 是 不 能 存在 的 ， 实 际 的 存在 总 是 现象 与 本 质 的 对 立 统 一 。 故 
一 方面 两 者 是 相互 蕴含 的 ， 实 际 上 也 是 相互 包含 的 。 本 质 寅 于 现象 之 
中 ， 这 是 非 第 明显 的 ， 因 为 现象 是 整体 ， 本 质 是 现象 的 一 部 分 ， 固 然 是 
根本 性 的 部 分 。 反 过 来 ， 本 质 也 包含 现象 ， 因 为 现象 尽管 是 多 种 多 样 
的 、 纷 繁复 洒 的 ， 但 毕竟 是 由 本 质 决定 的 ， 早 已 潜在 地 包含 于 本 质 之 
中 。 

现象 与 本 质 是 可 以 相互 转化 的 。 本 质变 现象 应 理解 为 本 质 表现 为 
现象 。 某 一 具体 的 人 无 疑 是 本 质 与 现象 的 统一 体 ， 但 其 本 质 也 在 不 断 地 
表现 出 来 ， 即 不 断 转 变 为 现象 。 现 象 与 本 质 的 相互 转化 ， 正 是 感性 认识 


























与 理性 认识 相互 转化 的 客观 基础 。 


(2) 现象 和 本 质 辩 证 关系 原理 的 意义 


OD 现象 和 本 质 的 对 立 ， 说 明了 科学 研究 的 必要 性 ， 现 象 和 本 质 的 统 
一 ， 决 定 了 科学 研究 的 可 能 性 。 科 学 研究 的 任务 就 是 透 过 现象 看 本 质 。 
人 们 只 有 通过 对 大 量 现象 的 研究 ， 才 能 发 现 事物 的 本 质 ， 达 到 科学 的 认 
识 。 如 果 二 者 只 有 对 立 而 无 统一 ， 那 么 一 切 科学 研究 、 科 学 认识 就 是 秆 
劳 无 益 、 白 费力 气 了 。 

@ 在 实践 中 要 注意 把 现象 作为 入 门 的 向 时， 通过 现象 去 认识 事物 的 
本 质 。 从 现象 进入 本 质 是 认识 的 深化 ， 却 不 是 认识 的 终止 。 由 现象 进入 
本 质 ， 在 一 定 程度 上 认识 到 了 事物 的 规律 性 以 后 ， 还 必须 在 这 种 认识 的 
指导 下 ， 继 续 地 研究 尚未 研究 过 或 尚未 深入 研究 的 现象 ， 以 此 补充 、 丰 
富 和 加 深 对 于 事物 本 质 的 认识 。 这 是 一 个 由 现象 到 本 质 又 由 本 质 到 现象 
的 循环 往复 的 认识 过 程 。 

加 注意 防止 经 验 主义 和 理性 主义 教条 主义 ) 的 出 现 。 哲 学 史上 的 
经 验 主义 和 理性 主义 是 自觉 的 思想 体系 ， 以 割裂 现象 与 本 质 为 其 立论 的 
依据 。 经 验 主 义 否定 感性 认识 到 理性 认识 的 转化 ， 也 就 是 否定 现象 到 本 
质 的 转化 ， 理 性 主义 否定 理性 认识 到 感性 认识 的 转化 ， 也 就 是 否定 本 质 
到 现象 的 转化 。 实 际 生活 中 的 经 验 主义 和 教条 主义 并 无 自觉 的 思想 体 
系 ， 它 们 只 是 表现 为 实际 认识 过 程 中 的 片面 性 ， 但 其 认识 基础 同样 是 害 
裂 现象 与 本 质 的 辩证 统一 。 


区 别 真相 与 假象 、 假 象 与 错觉 。 真 相 是 从 正面 表现 本 质 的 现象 。 
假象 则 是 一 种 虚假 的 现象 ， 它 也 是 本 质 的 一 种 表现 ， 但 却 是 本 质 在 特定 
条 件 下 的 一 种 反面 表现 。 错 觉 是 由 于 人 的 感觉 上 的 错误 造成 的 ， 属 于 主 
观 的 范畴 ， 假 象 则 是 由 客观 存在 的 种 种 条 件 造成 的 ， 它 是 现象 的 一 种 ， 
属于 客观 的 范畴 。 


























(一 ) 更 假 : 不 是 整体 概 狐 ， 而 是 个 体 特 征 


小 数据 主要 以 单个 人 为 研究 对 象 ， 重 点 在 于 深度 ， 对 个 人 数据 深入 
地 精确 地 挖 据 ， 对 比 而 言 ， 大 数据 则 侧重 在 茶 个 领域 方面 ， 在 大 范围 、 
大 规模 全 面 数据 收集 处 理 分 析 ， 侧 重 在 于 广度 。 大 数据 反映 整体 概貌 ， 
小 数据 揭示 个 体 特 征 。 整 体 是 由 个 体 组 成 的 ， 整 体 的 影响 归根 结 底 是 整 
体 中 的 个 体 在 具体 起 作用 《整体 只 是 一 个 虚 泛 的 联合 概念 ) ， 整 体 中 的 
个 体 可 以 从 不 同 角 度 、 方 面 联结 为 一 个 整体 起 作用 。 网 络 、 电 话 等 新 技 
术 加 深 了 个 体 间 的 这 种 联系 ， 从 而 加 剧 了 整体 环境 对 人 的 影响 作用 。 


人 对 自我 的 认 知 是 模糊 的 ， 要 认 知 整个 社会 有 很 大 的 难度 。 人 对 自 
我 的 定义 往往 是 周遭 人 《而 不 是 整个 社会 ) 的 评价 加 上 自我 的 意识 在 很 
长 一 段 时 间 内 逐渐 形成 的 。 通 过 整体 来 定义 是 有 危险 的 ， 有 时 人 们 会 为 
了 某 种 特殊 的 目的 而 待 在 某 个 群体 中 。 例 如 ， 政 治 家 为 了 选举 ， 社 会 学 
家 为 了 获得 第 一 手 资料 ， 间 谍 为 了 得 到 特定 信息 。 他 们 与 这 个 群体 中 的 
人 并 不 相同 ， 但 却 混在 一 起 。 

群体 虽然 是 一 群 有 相同 特征 的 人 的 集合 ， 但 群体 中 每 个 人 都 有 自我 
的 个 性 ， 并 且 每 个 人 都 可 属于 不 同 的 群体 。 个 体 信息 量 〈 小 数据 ) 的 累 
积 有 助 于 对 整体 面貌 (大 数据 ) 更 全 面 立 体 地 观察 审视 ， 从 而 有 助 于 对 
整体 复杂 性 和 全 和 貌 的 把 握 。 但 同时 过 分 强调 细节 〈 小 数据 ) 会 无 法 构建 
一 个 清晰 简明 的 整体 形象 《大 数据 ) ， 难 以 对 本 质 和 真实 性 有 所 挖 气 和 
快速 把 握 ， 沉 沈 在 细节 的 蒙蔽 中 。 


因此 ， 大 数据 与 小 数据 是 揭示 事物 内 在 要 系 和 结构 及 其 表现 形式 之 
间 关 系 的 一 对 范畴 。(D 小 数据 是 指 事物 的 内 在 要 素 及 其 相互 之 间 的 关 
系 ， 主 要 包括 事物 的 构成 成 分 、 内 在 特征 、 运 动 过 程 以 及 发 展 趋势 。 大 
数据 是 指 事物 各 要 素 之 间 的 结构 及 其 表现 方式 。 小 数据 活跃 易 变 ， 大 数 
据 则 相对 稳定 ， 大 数据 不 同 于 小 数据 。 包 小 数据 决定 大 数据 ， 大 数据 对 
小 数据 有 反作用 ， 由 此 形成 大 数据 与 小 数据 之 间 的 矛盾 运动 ， 不 断 地 使 
大 数据 与 小 数据 之 间 由 相对 适合 到 相对 不 适合 再 到 相对 适合 发 展 。 

















(二 ) 更 近 : 不 是 可 能 性 ， 而 是 现实 性 





可 能 性 (大 数据 〉 是 指 包含 在 事物 中 的 ， 并 预示 事物 发 展 前 途 的 种 
种 趋势 ， 是 潜在 的 ， 尚 未 实现 的 东西 。 现 实 性 (小 数据 ) 是 指 包含 内 在 
的 根据 的 合乎 必然 性 的 存在 ， 是 客观 事物 和 现象 种 种 联系 的 综合 。 


(1) 可 能 性 和 现实 性 的 辩证 关系 。(W 可 能 性 和 现实 性 是 相互 区 别 
的 ， 可 能 性 是 尚未 实现 的 东西 ， 不 是 现实 性 ， 而 现实 性 则 是 已 经 实现 了 
的 可 能 性 ， 已 不 再 是 可 能 性 。 凶 可 能 性 和 现实 性 又 是 统一 的 ， 它 们 相互 
依赖 、 相 互 转化 。 可 能 性 存在 于 现实 性 中 ， 离 开 现 实 性 ， 整 谈 不 上 可 能 
性 ;现实 性 也 离 不 开 可 能 性 ， 没 有 可 能 的 东西 ， 不 会 成 为 现实 ， 任 何 现 
实 都 是 由 可 能 转化 来 的 。@@ 相 互 转 化 。 可 能 性 在 一 定 条 件 下 会 转化 为 现 
实 性 ， 现 实 性 又 产生 新 的 可 能 性 ， 即 现实 性 化 为 可 能 性 。 事 物 的 发 展 过 
旦 是 一 个 不 断 由 可 能 同 现 实 转化 的 过 程 。 这 种 转化 需要 一 定 的 条 件 。 在 
人 类 社会 实践 中 ， 可 能 同 现 实 转化 需要 客观 条 件 ， 还 需要 主观 条 件 。 


(2) 可 能 性 和 现实 性 辨证 关系 原理 的 意义 。 岂 我 们 的 一 切 工作 必 
须 立 足 于 现实 ， 从 现实 出 发 制订 我 们 的 方针 、 方 案 、 计 划 。 只 有 从 现实 
出 发 ， 才 能 正确 分 析 种 种 可 能 性 ， 正 确 预 见 未 来 ， 使 主观 能 动 性 的 发 挥 
建立 在 可 靠 的 基础 上 。 包 在 制订 计划 、 方 案 前 要 注意 分 析 可 能 性 的 各 种 
情况 :可 能 和 不 可 能 ;现实 可 能 和 非 〈 抽 象 ) 可 能 ;好 的 可 能 和 坏 的 可 
能 ;， 可 能 性 在 量 上 的 大 小 ， 即 概率 。@® 可 能 向 现实 转化 除了 客观 条 件 ， 
还 需要 主观 条 件 ， 即 主观 努力 。 我 们 要 发 挥 主观 能 动 性 ， 创 造 各 种 条 
件 ， 使 好 的 可 能 性 向 现实 性 转化 。 























(三 ) 更 真 : 不 是 必然 性 ， 而 是 侦 然 性 





必然 性 (大 数据 ， 是 指 客观 事物 联系 和 发 展 过 程 中 合乎 规律 的 、 一 
定 要 发 生 的 、 确 定 不 移 的 趋势 。 偶 然 性 “小 数据 ) 是 指 客观 事物 联系 和 
发 展 过 程 中 并 非 确 定 发 生 的 ， 可 以 这 样 出 现 ， 也 可 以 那样 出 现 的 不 确定 





趋势 。 


(1) 必然 性 和 偶然 性 是 对 立 的 。Q 叫 必然 性 和 偶然 性 在 事物 发 展 中 
所 处 的 地 位 和 所 起 的 作用 不 同 。 必 然 性 在 事物 发 展 中 大 文 配 地 位 ， 决 定 
事物 的 发 展 方向 ， 侦 然 性 居于 次 要 地 位 ， 不 决定 事物 的 发 展 方向 。 句 必 
然 性 和 偶然 性 体现 事物 发 展 的 两 种 不 同 趋势 。 必 然 性 是 事物 发 展 中 持久 
稳定 的 趋势 ， 偶 然 性 则 是 暂时 的 、 不 稳定 的 趋势 。 


(2) 必然 性 和 偶然 性 又 是 统一 的 。 员 必 然 性 存在 于 偶然 性 之 中 ， 
没有 脱离 偶然 性 纯粹 的 必然 性 。 必 然 性 通过 大 量 的 偶然 性 表现 出 来 ， 并 
为 自己 开辟 道路 。 包 偶然 性 体现 必然 性 ， 并 受制 于 必然 性 。 没 有 脱离 必 
然 性 的 纯粹 的 偶然 性 。 偶 然 性 是 必然 性 的 表现 形式 和 补充 ， 凡 是 存在 偶 
然 性 的 地 方 ， 其 背后 总 是 隐藏 痢 必 然 性 。 任 何 偶然 性 都 不 能 完全 地 、 缀 
对 地 摆脱 必然 性 的 文 配 和 制约 。@@ 必 然 性 和 偶然 性 在 一 定 条 件 下 可 以 相 
互 转化 。 由 于 事物 范围 极其 广大 和 发 展 的 无 限 性 ， 必 然 性 和 偶然 性 的 区 
分 是 相对 的 。 在 一 定 条 件 下 ， 偶 然 性 可 以 转化 为 必然 性 ， 必 然 性 也 可 以 
转化 为 偶然 性 。 


(3) 必然 性 和 偶然 性 辩证 关系 原理 的 意义 。 中 掌握 客观 必然 性 是 
科学 认识 和 实践 的 基础 。 只 有 立足 于 必然 性 ， 努 力 研 究 揭示 必然 性 ， 才 
能 使 科学 研究 沿 着 正确 的 方向 发 展 。 只 有 认识 必然 性 并 利用 必然 性 才能 
获得 自由 。 包 在 科学 研究 中 偶然 性 的 作用 也 不 能 忽视 。 只 有 认识 偶然 性 
在 事物 发 展 中 的 作用 ， 才 能 注意 利用 一 切 的 偶然 因 系 去 推动 科学 发 展 ， 
防止 和 消除 不 利 的 偶然 因素 的 影响 ， 做 到 “有 备 无 患 ”。 

















二 、 小 数据 的 原因 疆 


原因 是 指引 起 一 定 现象 的 现象 。 结 果 是 指 由 原因 的 作用 而 引起 的 现 
象 。 在 现实 世界 中 原因 总 是 伴随 着 结果 ， 结 果 一 定 是 由 一 定 原因 引起 
的 ， 因 果 双 方 失去 一 方 ， 另 一 方 也 就 不 存在 了 。 同 时 ， 在 无 限 发展 的 链 
条 中 每 一 现象 发 展 的 原因 和 结果 往往 是 相互 作用 、 互 为 因果 的 ， 即 甲 现 
象 引 起 乙 现象 ， 反 过 来 乙 现象 义 作 用 于 甲 现象 ， 甲 乙 互 为 因果 ， 即 因果 
循环。 承认 因果 联系 的 客观 普遍 性 是 进行 科学 研究 、 获 得 科学 认识 的 前 
提 。 科 学 研究 在 一 定 意义 上 ， 就 是 揭示 事物 因果 联系 ， 从 而 提出 解决 问 
题 的 方法 。 正 确 地 把 握 因 条 联系 ， 有 利于 研究 真实 的 大 数据 与 小 数据 ， 
因为 原因 不 等 于 相交。 准确 地 把 握 因 果 联 系 ， 能 增强 数据 的 预见 性 。 


《大 数据 时 代 》 一 书 指出 ， 在 大 数据 时 代 ， 我 们 没有 必要 再 热衷 于 
寻找 因果 关系 ， 应 该 寻找 事物 之 间 的 相关 关系 。 大 数据 告诉 我 们 “是 什 
么 ”， 而 不 是 “为 什么 ”。 在 大 数据 时 代 ， 我 们 不 必 知 道 现象 背后 的 原 
因 ， 我 们 只 要 让 数据 自己 发 声 。 这 本 书 的 主要 观点 包括 : 更 多 : 采用 
的 数据 不 再 是 随机 样本 ， 而 是 全 部 数据 ; @ 更 杂 : 主动 拥抱 数据 的 混杂 
性 ， 不 再 一 味 追 求 数据 的 精确 度 ， 大 方向 的 准确 才 是 最 重要 的 ; 9) 更 
好 : 从 关注 事物 间 的 因果 关系 ， 转 变 为 关注 事物 的 相关 关系 。 

这 些 观 点 ， 其 实 非常 好 理解 。 随 着 数据 分 析 工 具 、 信 息 处 理 器 和 存 
储 器 技术 的 发 展 ， 人 类 能 更 加 轻易 地 收集 数据 、 存 储 数 据 、 分 析 数 据 。 
在 信息 收集 过 程 中 ， 会 出 现 许 多 不 那么 精准 甚至 比较 混乱 的 数据 ， 这 些 
混乱 的 数据 会 影响 到 结论 的 准确 性 ， 但 是 当 数 据 特 别 多 的 时 候 ， 少 部 分 
混乱 对 结果 造成 的 影响 就 微乎其微 了 。 不 过 ， 大 数据 只 能 表明 概率 ， 它 
能 够 正确 判断 大 致 的 趋势 ， 但 它 并 不 是 100% 正 确 无 误 的 。 除 此 之 外 ， 
大 数据 更 关注 “是 什么 "， 对 “为 什么 ”关注 其 少 ， 也 很 难 去 解释 其 中 的 因 





























果 关 系 。 但 是 ， 现 实 中 很 多 事情 我 们 还 是 需要 知道 原因 和 结果 的 ， 也 许 
小 数据 比 大 数据 更 有 效 。 


(一 ) 更 多 : 不 是 全 体 数据 ， 而 是 随机 样本 


大 数据 强调 更 多 的 数据 ， 不 是 随机 样本 ， 而 是 全 体 数 据 。 让 数 
据 “ 发 声 ” 一 一 IBM 的 资深 “大 数据 ”专家 杰 夫 :大 纳 斯 (Jeff Jonas) 提出 要 
让 数据 “说 话 ”( 注 : 数据 如 何 才 能 说 话 呢 ? 数据 是 客观 的 ， 我 想 数 据 要 
表达 的 意思 是 它 在 数学 与 统计 上 呈现 的 特征 ， 以 及 根据 这 些 特征 所 获得 
的 洞察 结果 。 如 何 能 理解 数据 呢 ? 数学 和 统计 是 它 的 语言 ) 。 


目前 我 们 可 以 处 理 的 数据 量 已 经 大 大 增加 ， 而 且 未 来 会 越 来 越 多 。 
在 菏 些 方面 ， 我 们 依然 没有 完全 意识 到 自己 拥有 了 能 够 收集 和 处 理 更 大 
规模 数据 的 能 力 。 小 数据 时 代 ， 由 于 受到 数据 收集 和 处 理 能 力 的 限制 ， 
往往 采用 随机 采样 的 办 法 ， 用 最 少 的 数据 获得 最 多 的 信息 。 

统计 学 家 证 明 ， 采 样 分 析 的 精确 性 随 着 洒 样 随机 性 的 增加 而 大 幅 提 
高 ， 但 与 样本 数量 的 增加 关系 不 大 ， 一 个 简单 的 解释 是 : 当 样 本 数量 达 
到 茶 个 值 之 后 ， 从 新 个 体 遇 上 得 到 的 信息 会 越 来 越 少 ， 如 同 经 济 学 中 的 
边际 效应 递减 一 样 〈 注 : 什么 叫 边际 效应 递减 ? 吃 第 一 个 包子 很 满足 ， 
吃 第 二 个 也 不 错 ， 吃 第 十 个 包子 时 可 能 束 没 什么 满足 感 了。 因此， 样本 
的 随机 性 比 样 本 的 数量 更 重要 ) 。 

首先 ， 大 数据 只 能 被 动 地 挖掘 、 收 集 已 经 客观 发 生 了 的 行为 信息 ， 
而 抽样 调查 和 实验 研究 则 可 以 “制造 ”数据 。 例 如 ， 在 小 数据 研究 中 ， 研 
完 人 员 可 以 根据 上 自己 的 理论 需求 设计 问卷 ， 并 测量 受 访 人 对 不 同 问 题 的 
看 法 和 态度 ， 而 大 数据 只 能 局 限于 每 个 人 对 一 个 固定 事件 已 经 表达 的 意 
见 。 此 外 ， 小 数据 研究 不 仅 能 收集 已 经 发 生 的 事情 的 数据 ， 还 可 以 收集 
并 未 发 生 或 发 生 概 率 渺 范 的 事件 信息 ， 如 通过 情景 设置 的 方式 或 实验 的 
方法 来 检验 受 访 者 在 假设 情景 中 可 能 的 态度 和 行为 ， 这 显然 是 大 数据 研 
完 很 难 做 到 的 。 再 者 ， 小 数据 在 收集 受 访 人 人 观念、 态度 和 行为 方面 数据 


























的 同时 ， 还 可 以 收集 他 们 各 方面 的 个 人 基本 信息 ， 如 家 庭 、 工 作 、 收 
入 、 政 治 面 够 、 宗 教 信 仰 等 ， 这 些 信 息 为 解释 受 访 人 的 其 他 行为 和 观念 
提供 了 更 多 的 可 能 性 ， 而 大 数据 研究 无 法 根据 研究 者 的 需要 来 收集 个 人 
信息 。 从 这 个 意义 上 说 ， 小 数据 比 大 数据 更 适合 进行 具有 理论 意义 和 理 
论 突破 的 研究 。 


其 次 ， 抽 样 调查 的 样本 在 特定 情况 下 比 东 些 “ 大 数据 ?更 具有 代表 
性 。 上 所谓 抽样 调查 ， 就 是 以 总 人 口 为 基础 ， 用 科学 的 方法 ， 随 机 抽取 样 
本 。 好 的 随机 样本 应 该 符合 总 人 口 的 基本 特征 ， 如 性 别 、 年 龄 、 教 育 程 
度 和 地 区 的 分 布 等 。 而 通过 网 络 收集 的 “大 数据 ?， 无 论 数量 多 庞大 ， 也 
不 过 是 总 人 口中 的 一 个 特定 群体 ， 即 网 络 用 户 。 如 前 所 述 ， 这 一 群体 通 
种 是 低 年 龄 、 高 学 历 的 白领 阶层 ， 哪 但 他 们 有 成 于 上 万 甚至 上 亿 人 ， 他 
们 的 意见 仍然 不 能 代表 总 人 口 。 往 往 只 有 几 千 人 的 随机 抽样 的 样本 ， 虽 
然 具 有 一 定 的 误差 ， 但 研究 者 可 以 通过 数学 、 统 计 方 法 来 估算 和 减少 误 
过， 至 少 使 抽样 数据 在 理论 上 是 代表 总 人 口 的 。 因 此 这 些 人 所 表达 的 意 
见 ， 比 大 数据 更 具有 普遍 性 。 

















(二 ) 更 淋 : 不 是 混杂 性 ， 而 是 准确 性 


执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 只 有 5% 的 数据 
是 有 框架 且 能 适用 于 传统 数据 库 的 。 如 果 不 接受 混杂 ， 剩 下 95% 的 非 杠 
架 数 据 都 无 法 被 利用 ， 只 有 接受 不 精确 性 ， 我 们 才能 打开 一 届 从 未 涉足 
的 世界 的 窗户 。 

在 越 来 越 多 的 情况 下 ， 使 用 所 有 可 获取 的 数据 变 得 更 为 可 能 ， 但 为 
此 也 要 付出 一 定 的 代价 。 数 据 量 的 大 幅 增 加 会 造成 结果 的 不 准确 ， 与 此 
同时 ， 一 些 错误 的 数据 也 会 混 进 数 据 库 。 

对 “小 数据 ”而 言 ， 最 基本 、 最 重要 的 要 求 束 是 减少 错误 ， 保 证 质 
量 。 因 为 收集 的 信息 量 比 较 少 ， 所 以 我 们 必须 确保 记录 下 来 的 数据 尽量 
精确 。 因 为 收集 信息 的 有 限 意味 着 细微 的 错误 会 被 放大 ， 甚 至 有 可 能 会 

















影响 整 个 结果 的 准确 性 。 

大 数据 的 多 样 性 决定 了 其 在 数据 质量 上 的 参 关 不 齐 。 换 句 话 说， 这 
个 语 境 下 的 多 样 性 就 是 混杂 性 〈Messy) ， 即 数据 里 混 有 杂质 《或 称 噪 
声 ) 。 大 数据 的 混杂 性 ， 基 本 上 是 不 可 避免 的 ， 既 可 能 是 数据 产生 者 在 
产生 数据 过 程 中 出 现 了 问题 ， 也 可 能 是 采集 或 存储 过 程 中 存在 问题 。 如 
果 这 些 数据 噪声 是 偶然 的 ， 那 么 在 大 数据 中 ， 它 一 定 会 被 更 多 的 正确 数 
所 淹没 反 ， 这 样 就 使 大 数据 具备 了 一 定 的 容错 性 。 如 果品 声 存 在 规律 
性 ， 那 么 在 具备 足够 多 的 数据 后 ， 束 有 机 会 发 现 这 个 规律 ， 从 而 可 以 有 
规律 地 “清洗 数据 ”把 噪声 过 滤 掉 。 但 是 ， 现 实 中 某 些 低频 但 很 重要 的 
弱 信 号 ， 很 容易 被 当 作品 声 过 尖 拒 ! 从 而 痛 失 发 现 “ 黑 天 鸦 ? 事 件 的 可 能 
性 


例如 ， 在 美国 ， 学 习 飞 机 驾驶 是 件 “ 司 空 见 惯 ” 的 事 ， 在 几 十 万 学 习 
飞机 罗 驶 的 记录 中 ， 如 果 美 国有 关 当 局 能 注意 到 ， 有 那么 几 位 学 员 只 学 
习 “ 飞 机 起 飞 ”， 而 不 学 习 “ 飞 机 降落 *"， 那 么 “9.11” 事 件 或 许 束 可 以 避 
免 。 在 大 数据 时 代 的 分 析 中 ， 很 容易 放弃 对 精确 的 退 求 ， 而 允许 对 混杂 
数据 的 接纳 ， 但 过 多 的 “混杂 放纵 ”， 束 会 形成 一 个 自 设 的 陷阱 。 因 此 ， 
必须 “未 雨 绸 绪 "， 有 所 提防 。 
































(三 ) 更 好 : 不 是 相关 关系 ， 而 是 因 末 关系 


知道 “是 什么 ” 束 够 了 ， 没 必要 知道 “为 什么 ”。 在 大 数据 时 代 ， 我 们 
不 必 非 得 知道 现象 背后 的 原因 ， 而 是 要 让 数据 自己 “发 声 ”。 但 现实 是 这 
样 的 吗 ? 

假如 你 是 一 位 出 车 干 次 无 事故 的 好 司机 ， 恰 好 在 朋友 家 哆 了 扣 酒 ， 
警察 也 下 班 了 ， 于 是 你 坚持 自己 开车 回 家 ,盘算 着 出 问题 的 概率 也 不 过 
干 分 之 一 吧 。 如 果 这 样 算 ， 你 束 犯 了 一 个 取样 错误 ， 因 为 那 一 干 次 出 
车 ， 你 没 哆 酒 ， 它 们 不 能 和 这 次 混在 一 起 计算 。 这 也 是 大 数据 “采矿 ” 常 
犯 的 错误 。 





























从 1967 年 的 第 一 届 美 国 超级 碗 杯 橄榄 球赛 到 1997 年 的 第 三 十 一 届 ， 
只 要 NFL 〈 纽 约 巨 人 队 ) 联赛 出 线 队 赢 ， 当 年 的 股票 就 大 涨 14% 以 上 ， 
AFL《〈 和 丹佛 野马 队 ) 联赛 出 线 队 赢 ， 则 至 少 大 跌 10%。 如 果 你 按照 这 个 
指标 来 买卖 股票 ， 就 要 小 心 了 ! 1998 年 ，AFL 赢 ， 当 年 股市 大 涨 28%; 
2008 年 NFL 赢 ， 股 市 不 仅 大 跌 35%， 还 引发 了 次 贷 金 融 危 机 。 


只 要 有 超大 样本 和 超 多 变量 ， 我 们 就 可 能 找到 无 厘 头 式 的 相关 性 。 
它 完 全 符合 统计 方法 的 严格 要 求 ， 但 两 者 之 间 并 没有 因果 关系 。 美 国政 
府 每 年 公布 4.5 万 类 经 济 数据 。 如 果 你 要 找 失 业 率 和 利率 受 什么 变量 影 
啊 ， 你 可 以 罗列 10 亿 个 假设 。 我 自己 的 研究 经 验 也 显示 ， 只 要 你 反复 尝 
试 不 同 的 模型 ， 上 千 次 后 ， 你 一 定 可 以 找到 统计 学 意义 上 成 立 的 相关 
性 。 把 相关 性 当 作 因果 关系 ， 这 是 大 数据 “采矿 ”的 另 一 个 陷阱 。 

我 们 党 说， 三 尺 深 的 水 池 能 淹 死 人 ， 因 为 三 尺 只 是 平均 值 。 忽 略 极 
值 ， 采 用 平均 值 ， 是 大 数据 采矿 第 三 个 常见 的 陷阱 。 博 弃 论 创 始 人 之 
一 ， 冯 : 诺 伊 曼 (John von Neumann) 曾经 戏言 | 有 四 个 参数 ， 我 能 画 头 
大 象 ， 再 加 一 个 ， 我 让 大 象 的 时 子 竖 起 来 ! 大 数据 “采矿 ?可 能 给 出 新 额 
的 相关 性 。 但 是 ， 脱 离 了 问题 的 情境 ， 它 不 但 不 能 保证 因果 关系 ， 还 可 
能 误导 决策 。 
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(一 ) 小 数据 与 预见 目 我 


当 我 们 无 法 精确 定义 某 种 事物 时 ， 束 会 冠 之 以 一 个 指 意 模 糊 的 代 
称 , “大 数据 ”〈Big Data) 就 是 这 样 一 种 代称 。 如 果 我 们 想 要 理解 它 ， 
只 能 将 它 进一步 具体 化 。 

美国 帕 罗 奥 多 研究 中 心 (PARC) 的 马 元 : 韦 泽 (Mark Weiser) 提出 
人 类 最 终 将 进入 “ 普 适 计算 ”(Ubiquitous Computing〉 的 阶段 ， 即 我 们 可 
以 在 任何 时 间 、 地 点 ， 获 取 和 处 理 任何 信息 ， 无 处 不 在 的 微小 设备 无 时 
无 刻 不 在 采集 、 传 输 和 计算 ， 形 成 一 个 包罗 万 象 的 信息 网 络 ， 这 与 肪 省 
理工 学 院 的 Kevin Ash-ton 教 授 在 1991 年 提出 的 “ 物 联 网 ”(The Internet of 
Things) 殊途同归 。 

普 适 计算 很 可 能 不 再 是 预言 。 因 为 数据 正在 逐渐 渗透 人 们 的 生活 ， 
它 可 能 影响 甚至 取代 原 有 的 知识 生产 方式 和 认识 框架 ， 而 其 中 一 个 非常 
重要 的 趋势 ， 就 是 “量化 自我 ”(Quantified Self) 。 量 化 自我 ， 标 志 着 社 
会 化 的 个 体 开 始 主 动 运 用 数据 的 方式 开展 认识 自我 的 实践 ， 预 示 着 人 类 
认 知 领域 全 面 数据 化 的 开始 。 




















(1) 量化 自我 概念 


量化 自我 ， 由 英文 “Quantified Self" 直译 而 来 ， 是 “运用 技术 手段 ， 
对 个 人 生活 中 有 关 生 理 吸 收 〈Inputs) 、 当 前 状态 〈Status) 和 身心 表现 
(Performance) 等 方面 的 数据 进行 获取 ”， 也 可 称 作 “Self-tracking”( 自 
我 跟踪 ) 、“Auto-analytics”( 目 我 分 析 〉 等 。 





量化 自我 ，2007 年 由 《 连 线 》《〈Wired) 杂志 主编 凯 文 -凯利 
(Kevin Kelly〉 和 技术 专栏 作家 沃 尔 夫 (Gary Wolf) 提出 ， 并 由 此 发 
起 一 场 探 索 自 我 身体 (Hack the self) 的 社会 运动 ， 他 们 把 对 自我 跟踪 
感 兴趣 的 使 用 者 和 工具 制造 者 〈Self-tracker) 组 织 起 来 ， 召 开 量 化 自我 
大 会 ， 在 全 球 各 国 建立 量化 自我 的 兴趣 组 织 。 


试图 对 人 目 映 进行 量化 监测 的 想法 由 来 已 入。 早期 的 概念 是 人 本 主 
义 计算 (Humanistic ”Computing) ， 这 可 以 追溯 到 20 世 纪 70 年 代 ， 那 时 
就 已 经 有 通过 穿戴 式 传感器 (Wearable Sensors) 以 人 的 行为 、 和 生理 信息 
为 对 象 的 研究 。 早 期 的 研究 使 用 诸如 穿戴 式 摄像 机 等 比较 简陋 的 技术 手 
段 ， 记 录 人 日 常生 活 中 的 心理 和 生理 变化 来 了 解 人 类 的 智能 、 行 为 等 。 
今天 的 量化 自我 ， 无 论 是 可 量化 的 内 容 范 围 ， 还 是 技术 手段 ， 都 已 有 了 
惊人 的 进步 。 


(2) 狭义 量化 目 我 


狭义 的 量化 自我 ， 是 指 与 人 体 日 第 生理 活动 状态 直接 相关 的 量化 和 
监测 过 程 。 通 过 使 用 计算 机 、 便 携 式 传 感 和 智能 手机 应 用 等 技术 手段 ， 
来 追踪 和 记录 运动 、 睡 眠 、 饮 食 、 心 情 等 个 体 行为 的 情况 ， 通 过 各 种 数 
据 指标 来 研究 、 分 析 自 里 例如,“ 体重 ”“ 计 步 “ 睡 虐 时 间 ”“ 消 耗 食物 卡 
路 里 “空气 质量 “压力 指数 “皮肤 电导 ”“ 血 氧 饱和 捅 ”等 。 狭 义 的 量化 自 
我 主要 围绕 着 运动 健身 、 日 常生 理 和 疾病 治疗 这 三 类 数据 进行 监测 和 分 
析 ， 目 的 在 于 改善 映 体 健康 状况 ， 因 此 也 可 称 作 “健康 量化 ”( Health 
tracking) 。 


根据 目标 、 技 术 和 形式 的 不 同 ， 狭 义 的 量化 上 自我 包括 以 下 几 个 方 
面 。 

GO 日 常 记录 (Everyday Tracking) 。 通 过 App、 网 站 的 提醒 服务 ， 
从 用 户 的 日 常 实际 生活 行为 (Activities) 到 互联 网 行为 〈Internet 
Behaviors) ， 收 集 、 归 类 建立 个 人 档案 ， 并 通过 图 表 等 视觉 化 方式 加 以 














@ 运 动 追 踪 (Activity Tracking) 。 主 要 是 通过 穿戴 式 智 能 传感器 ， 
围 经 人 的 物理 活动 ， 追 踪 运 动 、 饮 食 和 睡眠 相关 数据 ， 并 通过 配套 的 
App 实 现 数据 记录 、 分 析 、 可 视 化、 设置 目标 、 提 醒 等 功能 ， 通 常 软件 
还 加 入 了 协作 、 社 交 分 享 的 功能 。 

睡眠 管理 (Sleep Management) 。 通 过 穿戴 的 设备 ， 监 测 、 分 析 
睡眠 ， 提 供 个 性 化 的 睡眠 改善 方案 。 


情绪 监测 (Mood Tracking) 。 通 过 网 站 、App 等 服务 ， 用 户 自 主 
记录 情绪 ， 监 测 情绪 长 期 变化 。 

@@ 机 能 监测 〈Body Tracking) 。 对 身体 各 项 关键 生理 指标 进行 监测 
和 记录 ， 主 要 包括 心脏 系统 、 血 液 系统 、 体 重 三 类 数据 。 


除了 以 上 罗列 的 各 种 自我 量化 的 软件 、 罕 戴 式 设备 和 服务 ， 还 有 其 
他 各 种 各 样 的 健康 数据 监测 的 服务 ， 比 如 ，DNA 测 序 (23andMe) 、 微 
量 元 素 监测 (Spectracell) 、 血 糖 监测 (Dexcom) 甚至 认 知 追踪 
(Quantified-mind〉; 除了 监测 数据 类 型 的 多 样 化 ， 还 提供 相应 的 数据 
处 理 服 务 ， 如 电子 病历 服务 、 个 人 健康 记录 管理 等 。 总 而 言 之 ， 就 是 把 
实时 监测 、 记 录 的 健康 数据 可 读 化、 云端 化 、 社 交 化 。 











(3) 广义 量化 目 我 


广义 而 言 ， 量 化 自我 绝 不 仅 限 于 喘 体 和 健康 领域 ， 还 包括 个 体 的 日 
常生 活 习惯 、 行 为 、 认 知 等 。 如 果 说 狭义 的 量化 目 我 是 “健康 量化 ”， 探 
索 目 我 身体 〈Hack the self) ， 那 么 广义 的 量化 自我， 就 是 探索 个 体 生 
活 (Hack my life) 。 比 如 ， 记 录 夫 妻 和 关系、 学 习 、 孩 子 的 教育 情况 、 
吴 体 以 及 房子 等 。 我 们 每 天 通过 个 人 计算 机 、 智 能 手机 、 信 用 卡 等 不 断 
产生 文字 、 照 片 、 声 音 、 视 频 、 地 理 位 置 和 消费 记录 ， 都 是 在 构建 这 个 
大 数据 世界 ， 个 体 把 对 自我 的 了 解 变 成 个 人 数据 库 ， 无 数 个 体 的 个 人 数 
据 库 共同 编织 成 为 “自我 大 数据 ”。 





未 来 广泛 的 个 体 量化 数据 网 络 (QS Database) ， 将 会 主要 包含 以 下 
四 类 数据 : 健康 数据 (关于 人 体 机 能 与 状态 的 数据 ，、 认 知 数据 (关于 
个 体 性 格 、 认 知 规律 的 数据 〉》、 消 费 数据 (关于 个 体 消费 行为 与 习惯 的 
数据 ) 和 环境 数据 〈 关 于 个 体 与 物理 环境 互动 的 数据 ) 。 在 现 有 的 技术 
条 件 下 ， 我 们 已 经 具备 了 对 以 上 四 类 数据 收集 、 储 存 和 初步 处 理 的 可 能 
性 。“ 自 我 大 数据 ”无 疑 会 成 为 大 数据 最 重要 的 一 个 组 成 部 分 。 个 体 可 以 
被 全 面 量化 ， 表 明 数 据 可 能 会 深刻 地 改变 人 类 知识 生产 方式 和 认识 框 


口 
架 。 








(二 ) 生命 大 数据 





在 互联 网 社会 ， 我 们 接触 到 的 数字 化 信息 越 来 越 多 。 正 如 类 国 及 省 
理工 学 院 教授 、 媒 体 实验 室 的 创办 人 ， 被 媒体 蕉 为 “未 来 学 家 ”的 尼 移 洛 
庞 芝 在 《数字 化 生存 》 中 所 说 , “信息 的 DNA" 正 在 迅速 取代 原子 而 成 为 
人 类 生活 中 的 基本 交换 物 。 

每 个 生命 体 都 是 大 数据 ， 人 的 基因 组 有 约 30 亿 对 碱 基 ， 以 一 个 
Byte〈 字 节 ) 储存 一 对 碱 基 来 算 ， 每 个 人 有 3GB 左 右 的 数据 量 。 和 党 得 不 
多 ? 其 实 一 个 人 基因 组 检测 的 原始 数据 束 有 好 几 百 GB， 再 加 上 梨 白 质 
等 好 儿 个 TB 才能 够 完成 一 个 人 的 数据 。 即 使 按 一 个 人 1TB 的 数据 量 来 
算 ， 全 球 人 的 基因 组 加 起 来 就 有 约 7 万 亿 GB 的 数据 量 。 而 且 ， 和 我 们 同 
在 的 不 只 是 我 们 目 己 ， 还 有 10 倍 于 我 们 细胞 数量 的 微生物 ， 我 们 的 地 球 
上 还 有 许多 的 动物 、 植 物 、 微 生物 .…… 地 球 生 命 的 基因 组 数据 量 不 可 估 
计 ， 且 绝对 远 远大 于 互联 网 数据 量 一 一 据 美 国 市 场 研究 公司 IDC 预 测 ， 
到 2020 年 时 ， 全 球 互联 网 数据 总 储存 量 才 达到 40 万 亿 GB。 


正如 世界 上 没有 两 片 完全 一 样 的 树叶 ， 每 个 人 的 基因 组 信息 都 是 独 
一 无 二 的 ， 甚 至 每 个 人 在 不 同时 刻 的 基因 组 信息 都 可 能 有 差异 。 基 因 组 
言 恩 的 测序 和 生命 密码 的 解读， 会 帮助 我 们 了 解 基因 状况 、 防 治 疾病 。 


从 统计 学 角度 来 说 ， 只 有 收集 大 量 的 数据 ， 才 能 从 中 分 析出 规律 。 



































疾病 预知 、 健 康 管 理 同样 需要 大 数据 的 支持 ， 只 有 基于 大 范围 的 数据 比 
对 ， 才 能 知道 菏 个 人 的 基因 变异 是 否 是 致 病原 因 。 因 此 ， 只 有 在 收集 多 
数 人 的 基因 组 信息 基础 上 ， 才 能 更 为 准确 地 了 解 基因 与 疾病 的 关系 ， 以 
及 如 何 做 好 未 病 先 防 。 


量化 自我 的 可 穿戴 设备 促进 了 智能 化 人 生 的 发 展 ， 通 过 收集 个 体 小 
数据 ， 再 通过 情境 感知 和 意识 感知 连接 大 数据 ， 进 行 量化 自我 的 分 析 ， 
使 未 来 的 生活 产品 具有 智能 化 的 特性 。 轻 量化 、 便 携 化 、 可 移动 性 、 目 
我 收集 数据 、 实 时 收集 数据 的 需求 显得 日 益 重 要 。 在 大 数据 、 互 联网 与 
人 工 智 能 的 信息 环境 下 ， 交 互 设 计 的 交互 对 象 从 大 数据 转变 成 了 小 数据 
的 智能 化 人 生 。 




















(三 ) 健康 管理 


每 个 现代 人 都 需要 健康 管理 。 据 《新 英格兰 医学 杂志 》 分 析 ， 近 一 
百年 来 ， 慢 性 病 〈 癌 症 、 心 脏 病 等 ) 、 老 年 病 对 人 类 健康 的 影响 越 来 越 
大 。 量 化 自我 让 个 人 健康 医疗 真正 意义 上 转变 为 “Health 2.0” 模 式 ， 通 过 
罕 戴 式 传 感 设备 和 智能 手机 应 用 实时 监测 体征 数据 ， 无 线 云端 计算 系统 
可 以 运用 数据 可 视 化 (Data Visualization) 工具 ， 将 数据 反映 出 的 健康 
信息 ， 以 可 读 的 方式 反馈 给 个 体 ， 从 而 达到 对 健康 的 量化 监测 (如 图 8- 
1 所 示 ) 。 























图 8-1 健康 量化 监测 体系 


(四 ) 学习 管 理 


基于 可 罕 戴 设备 的 量化 自我 技术 带 来 的 是 一 种 新 的 生活 方式 ， 使 计 
算 系 统 能 够 更 好 地 理解 人 类 用 户 的 意图 和 语 境 ， 更 好 地 模拟 演绎 人 类 智 
能 ， 这 也 将 成 为 大 数据 时 代 学 习 的 一 种 新 趋势 。 在 可 穿戴 设备 给 人 类 生 
活 带 来 的 各 种 改变 的 基础 上 ， 通 过 分 析 生 活 和 学 习 的 互动 联系 ， 量 化 自 
我 能 带 来 体验 式 学 习 变 革 ， 可 以 描绘 未 来 学 习 生 态 新 图 表 ， 使 学 习 文 持 





服务 系统 真正 地 帮助 我 们 ， 甚 至 代表 我 们 去 学 习 。 


(五 ) 医学 应 用 





利用 大 数据 和 小 数据 技术 ， 对 个 人 健康 进行 全 生命 周期 管理 ， 实 现 
在 任何 时 间 、 任 何 地 点 都 可 以 访问 相关 信息 ， 从 而 保证 了 健康 信息 的 一 
致 性 、 连 续 性 ， 如 Google Health、 微 软 的 Health Vault 等 网 络 平台 。 健 康 
管理 系统 的 最 主要 特点 就 是 : 个 人 的 健康 状态 得 到 了 连续 观测 ， 健 康 分 
析 人 员 能 够 有 效 地 对 个 人 健康 状况 进行 分 析 ， 以 便 在 映 体 处 于 非 健康 状 
态 时 得 到 及 时 干预 。 


在 健康 管理 领域 中 最 需要 解决 的 问题 就 是 及 时 发 现 映 体 的 健康 异常 
和 重大 疾病 风险 了 预警， 传统 情况 下 我 们 会 通过 年 度 体检 来 实现 这 一 要 
求 ， 但 是 体检 时 间 跨 上 度 大 ， 同 时 地 域 的 窗 盖 能 力也 不 足 ， 可 穿 戴 设 备 能 
够 实现 跨 地 域 大 人 群 喘 体 异常 实时 发 现 。 通 过 体征 小 数据 [如 心率 、 脉 
率 、 呼 吸 频率 、 体 温 、 热 消耗 量 、 血 压 、 血 糖 和 血 氧 、 激 素 和 身体 质量 
指数 (BMI)〉 、 体 脂 含 量 ] 监测 来 帮助 用 尸 管理 重要 的 生理 活动 。 


现 阶段 可 以 利用 的 体征 小 数据 传感器 包括 : ( 凡 体 温 传 感 费 ， 书 热 通 
量 传感器 : 用 来 监测 热量 消耗 能 力 ， 可 用 于 血糖 辅助 计算 和 新 陈 代谢 能 
力 推算 ， 色 体重 计量 传感器 : 用 于 计算 BMI 指 数 ， 包 脉搏 波 传 感 器 : 推 
算 血 压 、 脉 率 等 数据 ;名 生物 电 传感器 : 可 用 于 心 电 、 脑 电 数据 采集 ， 
也 可 用 来 推算 脂肪 含量 等 ，@) 光 学 传感器 : 推算 血 氧 含量 ， 血 流速 。 这 
些 设备 初始 会 将 一 天 设 定 出 多 个 检测 点 ， 只 需 罕 积 儿 天 检测 结果 即 可 建 
立 个 人 初级 模型 ， 利 用 大 数据 和 小 数据 技术 对 所 有 产生 数据 进行 分 析 ， 
汇总 成 一 个 健康 风险 指数 ， 用 尸 可 以 看 到 目 己 的 健康 风险 指数 和 同龄 、 
同性 别人 群 的 平均 风险 指数 ， 并 且 能 明确 自己 的 健康 风险 在 同龄 人 群 中 
的 排 位 。 同 时 ， 利 用 大 数据 和 小 数据 技术 ， 设 备 会 根据 使 用 者 实际 情况 
进行 调整 ， 一 旦 数据 显示 异常 ， 束 会 加 大 检测 密度 ， 反 之 则 会 拉 长 检测 
间隔 ， 进 行动 态 调整 。 





























这 些 数值 交叉 分 析 络 果 可 以 用 来 分 析 用 户 现在 的 体质 状况 ， 进 行 健 
康 风 险 评 佑 ， 并 可 结合 数据 给 出 儿 项 关键 生理 活动 : 睡眠 、 饮 食 、 运 动 
和 服药 的 个 性 化 改善 建议 ， 让 用 户 的 身体 健康 状况 保持 在 一 个 稳定 的 范 
围 内 。 


二 、 吞 能 化 健康 


(一 ) 量化 目 我 与 健康 管理 的 应 用 场景 


事实 上 ， 随 着 全 球 移动 医疗 市 场 的 大 规模 快速 友 展 ， 移 动 医疗 技术 
将 会 更 好 地 把 医院 、 医 生 和 病人 三 者 有 机 地 联系 起 来 。 我 们 相信 ， 未 来 
每 个 人 都 可 以 随时 访问 、 碍 询 并 且 管 理 上 自己 的 健康 医疗 数据 ， 这 些 数据 
不 再 擎 握 在 遥 不 可 及 的 第 三 方 手 里 ， 而 是 通过 小 数据 技术 ， 活 跃 于 我 们 
的 生活 中 ， 成 为 个 体 的 一 部 分 。 并 且 ， 这 些 数据 将 不 再 局 限于 体检 结 
果 、 就 诊 记录 ， 还 可 以 延伸 到 个 人 的 日 常 健康 行为 监测 数据 、 过 敏 源 监 
汕 数 据 、 基 因数 据 ， 等 等 。 小 数据 将 使 个 体 从 法 律 层 面 上 获得 拥有 并 运 
用 这 些 数据 的 能 力 ， 人 类 对 目 身 的 认识 也 将 路 入 一 个 新 的 阶段 〈 见 表 8- 
1) a 














表 8-1 小 数据 在 健康 管理 中 的 应 用 场景 














应 用 场景 数据 内 容 具体 作用 
人 体 运动 、 睡 眼 、 饮 
日 常生 活 监测 帮助 消费 者 调整 作息 规律 、 督 促 加 强 训练 
”| 食 行 为 数据 竺 
关心 用 户 的 保健 需求 ， 特 别 是 孕妇 、 敏 感 体 
医疗 保健 类 “| 各 项 体征 检测 数据 
质 人 群 的 保健 需求 
ee 病历 、 临 床 记录 、 医 | 应 用 高 级 分 析 可 以 预测 哪些 人 是 某 类 疾病 的 
健康 档案 分 析 | 、 i | po 
疗 保险 数据 等 易 感人 群 ， 帮 助 个 体 明确 自身 医疗 保险 需 ; 
含有 多 种 诊疗 方案 的 | 结合 对 知识 库 中 多 种 诊疗 方案 的 分 析 发 展 个 
个 性 化 治疗 | 知识 库 、 用 药 历史 、 | 性 化 治疗 、 根 据 患 者 的 实际 情况 调整 药物 齐 





体质 、 经 济 能 力 等 








量 ， 改 善 医疗 保健 效果 ,减少 副 作用 


(二 ) 用 小 数据 预测 心脏 病 发 作 率 


【案例 8.1】 麻 省 理工 学 院 、 密 歌 根 大 学 和 一 家 妇女 医院 创建 了 
一 个 计算 机 模型 ， 可 利用 心脏 病 患 者 的 心电图 数据 进行 分 析 、 预 测 
在 未 来 1 年 内 患者 心脏 病 发 作 的 概 举 。 通 常情 况 下 ， 医 生 只 会 用 30 秒 
的 时 间 来 观看 用 户 的 心电图 数据 ， 而 且 缺 乏 对 之 前 数据 的 比较 分 
析 ， 这 使 医生 对 70% 的 心脏 病 患 者 再 度 发 病 缺 乏 预 判 ， 而 现在 通过 机 
器 学 习 和 数据 挖 据 ， 该 模型 可 以 通过 累积 的 数据 进行 分 析 ， 发 现 高 


风险 指标 。 


【案例 解析 】 
从 本 采 例 可 以 看 到 ， 将 小 数据 运用 到 医学 上 对 于 患者 病情 的 预测 和 
控制 会 有 巨大 作用 。 当 然 ， 这 个 用 来 监测 个 体 的 心电图 数据 的 模型 是 基 
于 医学 工作 者 多 年 来 的 临床 经 验 和 有 关心 脏 病 的 大 量 案例 建立 的 。 但 我 





们 需要 注意 的 是 ， 个 体 患 心脏 病 的 影响 因素 主要 有 普 裔 性 因素 和 针对 性 
因素 两 方面 。 具 体 影 响 因 素 如 表 8-2 所 示 。 


表 8-2 个 体 患 心脏 病 的 影响 因素 








影响 因素 具体 内 容 
外 界 因 素 | 如 慢性 低压 低 氧 引起 的 肺动脉 高 压 ， 感 染 导致 的 心脏 病变 








二 手 烟 。 如 果 一 个 人 每 周三 次 ， 每 次 暴露 在 别人 吸烟 时 吐出 的 
吸烟 影响 | 烟 筋 30 分 钟 ， 那 么 他 患 心脏 病 的 风险 比 很 少 被 动 吸烟 的 要 高 








普遍 性 26%,， 同样 是 引起 心脏 病 的 常见 病因 
因素 | 5% 心脏 病 患者 发 生 于 同一 家 族 ， 其 病 种 相同 或 近似 ， 可 能 由 
遗传 因素 


于 基因 异常 或 染色 体 畸 变 所 人 至。 这 就 是 心脏 病 的 病因 之 一 





人 在 生气 的 时 候 体内 产生 对 血管 和 心肌 有 害 的 紧张 荷尔蒙 ， 使 


情 2 因素 
i 血管 内 的 凝 块 容易 破裂 ， 导 致 突 发 心脏 病 病 因 的 出 现 















































影响 因素 具体 内 容 
风湿 性 | ee EC 、 
jp 。 | 主要 在 风湿 热 感染 后 ， 心 脏 汶 腊 之 浙 病变 所 导致 之 异常 
岂 病 。 | 新陈代谢 或 痊 尔 莹 异常 的 心肌 变化 等 ， 有 时 柄 酒 ， 药 物 亦 导致 
心肌 变化 
因 末 做 ”| 本 OT NO EE 
Mj | 可 能 与 母亲 在 怀孕 早期 的 疾病 或 服用 的 药物 有 关 ; 与 遗传 有 关 
针对 性 |、 | 抽烟 及 祷 尿 病 ， 高 血压 等 导致 血管 硬化 狭窄 ， 使 血 流 受阻 ， 易 
因素 | ” 使 心肌 缺 氧 而 受 损 
Jie， | 心脏 肿瘤 表面 冬 片 或 血栓 脱落 引起 栓塞 。 可 能 与 肝 痪 的 产物 、 
“| 肿瘤 坏死 或 免疫 反应 有 关 
其 他 疾病 导 | 
et 高 血压 以 及 其 它 免 疫 机 能 异常 引起 之 血管 病变 等 
故 的 心 
i 由 于 肺 、 胸 廓 或 肺动脉 血管 病变 所 致 的 肺 循环 阻力 增加 、 肺 动 
脉 高 压 、 进 而 使 右 心 肥厚 、 扩 大 ， 甚 至 发 生 右 心 衰竭 


可 以 看 到 ， 上 表 中 的 吸烟 影响 、 遗 传 因 系 、 情 绪 因 素 、 相 关 病 史 等 
影响 因 妹 都 与 个 体 的 小 数据 分 不 开 ， 因 此 在 建立 预测 模型 时 ， 应 将 对 于 


这 坚 数 据 的 考量 细 入 日 变量 中 ， 





以 提升 模型 预测 的 准确 性 。 目 前 ， 对 于 


这 些 影 响 因素 的 获取 和 考量 主要 通过 医生 问 询 或 者 填写 表格 来 实现 ， 不 
具备 实时 性 ， 并 且 由 于 病人 缺乏 对 目 身 病情 的 了 解 可 能 会 出 现 判断 误 
兰 。 因 此 ，2.0 时 代 下 的 小 数据 通过 开发 软 、 人 硬件 技术 ， 增 加 用 以 感 


知 、 量 化 这 些 因素 的 设备 来 获取 相对 精确 的 个 体 数 据 ， 


的 精度 大 幅 提高 


能 够 使 预测 模型 


(三 ) 手表 成 为 小 数据 的 有 力 武 器 


【案例 8.2】 据 美国 心脏 学 会 说 ， 每 4 个 美国 人 中 就 有 1 人 患 高 血 
压 ， 这 些 人 中 还 有 1/3 的 人 根本 没 意 识 到 这 一 高 风险 。 虽 然 每 个 医生 
都 会 为 患者 量 血压 ， 但 是 没有 几 个 人 会 24 小 时 监测 病人 血压 。 

2014 年 ， 新 加 坡 研 究 人 员 发 明了 一 种 名 为 BPro 的 手表 式 血 压 计 
(如 图 8-2 所 示 ) 。 只 要 戴 在 患者 的 手腕 上 ， 就 能 够 24 小 时 连续 监控 
血压 。BPro 通 过 内 部 的 传感器 计算 手腕 上 动脉 跳动 的 次 数 ， 再 转换 
成 血压 读数 。 除 了 可 以 显示 血压 读数 之 外 ， 波 浪 形 曲线 还 可 表明 心 
及 跳动 的 频率 和 力度 。 





图 8-2 BPro 手 表 式 血压 计 


【案例 解析 】 


从 本 案例 可 以 看 到 ， 可 穿戴 设备 逐渐 走 入 了 监测 个 体 体征 的 主流 设 
备 行列 中 。 以 手表 式 血压 计 为 代表 的 可 穿戴 设备 的 最 大 特点 并 不 是 简化 
了 测量 人 体 生 命 体征 的 步骤 和 方法 ， 而 在 于 其 能 够 连续 获取 数据 并 将 数 
气 积 累 起 来 。 这 对 于 个 体 和 医疗 机 构 认 知 健康 状况 具有 十 分 重大 的 意 
义 。 以 手表 式 血 压 计 为 例 ， 由 于 人 们 在 医院 测量 血压 时 ， 紧 张 的 心情 、 
上 下 楼 梯 造成 的 运动 状态 都 可 能 导致 血压 异常 ， 因 此 以 单 次 测量 的 血压 
状况 代表 生活 第 态 可 能 是 有 所 偏 瞻 的 。 可 穿戴 设备 通过 个 体 的 穿戴 行为 
实现 连续 监测 ， 大 大 减 小 了 单 次 测量 造成 的 误 兰 ， 逐 步 形成 对 个 体 血压 
及 其 他 体征 的 认 知 和 理解 ， 这 才 是 小 数据 的 职责 和 使 命 所 在 。 








(一 ) 量化 目 我 与 学 习 管 理 的 应 用 场景 








随 着 大 数据 的 发 展 ， 科 技 产业 受到 深刻 影响 ， 教 育 产业 也 不 例外 。 
一 些 大 学 录取 办 公 室 称 ， 利 用 大 数据 算法 ， 能 在 录取 前 预测 哪些 申请 者 
能 取得 更 好 的 学 习 成 绩 。 而 在 教师 方面 ， 两 家 教育 机 构 表示 能 通过 预测 
分 析 ， 在 教师 实际 授课 前 评估 其 能 够 取得 的 教育 效果 。 但 是 ， 需 要 注意 
的 是 ， 大 数据 能 够 实现 的 种 种 预测 与 分 析 ， 对 个 体 了 解 自己 的 学 习 能 
力 、 改 善 自己 的 学 习 方法 、 调 整 自己 的 学 习 心 态 却 是 不 足 的 。 真 正 能 够 
伴随 学 生成 长 学 习 、 从 生活 中 的 点 点 滴 滴 来 指点 学 生 提高 思想 层次 的 ， 
只 有 和 个 体 息息相关 的 小 数据 。 

美国 新 媒体 联盟 2014 高 等 教育 版 《地 平 线 报告 》， 预 判 量化 自我 将 
是 未 来 对 高 教 发 展 产 生 重要 影响 的 教育 技术 之 一 。 量 化 自我 ， 将 得 到 越 
来 越 多 量 身 定制 ， 甚 至 是 意外 惊喜 的 个 性 化 推荐 服务 。 对 于 未 来 教育 的 
发 展 ， 大 数据 时 代 的 量化 自我 ， 将 会 带 来 深刻 的 体验 式 学 习 变革 〈 见 表 
8-3) 。 


























表 8-3 小 数据 在 个 人 学 习 管理 中 的 应 用 场景 


应 用 场景 数据 内 容 具体 作用 





将 教师 、 学 生 和 家 长 之 间 
联系 起 来 ， 反映 学 生日 常 
学 习 情况 


易 错 点 整理 、 思 维 导 图 及 | 知识 点 、 课堂 笔记 、 作 业 、 
课 后 辅导 测验 、 考 试 等 





课堂 回答 人 人 次、 课堂 回 答 | 课堂 学 习 情 况 的 实时 检查 、 
内 容 、 学 生 眼 神 反馈 等 量化 授课 效果 


课堂 反馈 情况 监测 





以 行为 评价 和 学 习 诱 导 关 

本 学 生 基本 情况 、 课 程 内 容 、 | 全 全 

在 线 教育 i 特点 不 断 延 伸 知识 的 边界 ， 
] 林 枉 进 卡 、] 木 酝 ? = 于 家 

ee 提升 特定 领域 的 专业 能 力 








向 无 法 上 实体 大 学 的 人 提 
时 电子 课程 内 容 、 作 业 、 同 学 Ee 
数字 化 学 习 平台 、 “| 供 学 习 交流 的 机 会 、 量 化 
交流 数据 、 考 试 与 测验 等 fe 
学 习 过 程 








(二 ) 小 数据 带 “ 读 符 ? 和 在线 回 家 


【案例 8.3】 哈 佛 大 学 以 及 麻 省 理工 学 院 在 2012 年 联合 发 布 了 一 
款 非 营利 性 质 的 在 线 服务 一 一 edX。edX 平 台 在 2012 年 还 发 布 了 课程 
编辑 助手 Course Builder， 它 可 以 帮助 教育 机 构 编 写 自己 的 在 线 课 
程 。 同 年 ， 美 国 的 顶尖 大 学 陆续 设立 网 络 学 习 平 台 ， 在 网 上 提供 免 
费 课程 ，edX、Coursera、Udacity 三 大 课程 提供 商 的 兴起 ， 给 更 多 
学 生 提 供 了 系统 学 习 的 可 能 。 同 年 9 月 ， 谷 歌 发 布 了 一 个 制作 
MOOC (Massive 0pen 0nline Course， 大 型 开放 式 网 络 课程 ) 的 平 
台 。 从 2014 年 起 ， 谷 歌 也 开始 与 edX 合 作 ， 强 强 联合 推出 MO00C 在 线 课 
堂 。WM00C 是 一 个 面向 教育 机 构 、 政 府 、 商 业 机 构 以 及 个 人 的 在 线 教 
育 平台 ， 认 证 机 构 可 以 在 MO0C 上 推出 自己 的 课程 。2014 年 5 月 ， 中 国 
教育 部 、 爱 课程 网 和 网 易 合作 推出 了 拥有 中 国 自主 知识 产权 的 MOO0C 
平台 《中 国 大 学 M00C) 。 


【案例 解析 】 


MOOC 是 一 种 新 型 的 学 习 和 教学 方法 ， 它 最 大 的 特点 在 于 打破 了 传 
统 教 学 对 于 师 生 聚集 在 同一 个 时 空 的 要 求 。MOOC 模 式 使 众多 人 同时 参 
与 读 程 ， 且 不 局 限于 单纯 的 视频 授课 ， 还 可 以 横路 博客 、 网 站 、 社 交 网 
络 等 多 种 平台 ， 没 有 严格 的 时 间 规 定 。 我 们 为 什么 认为 以 MOOC 为 代表 
的 新 兴 在 线 教育 读 程 对 个 体 来 说 是 一 个 小 数据 问题 呢 ? 其 实 很 简单 ， 因 
为 MOOC 使 个 体 有 更 多 的 选择 权 。 它 提供 丰富 、 专 业 的 学 习 资 源 ， 在 一 
定 程 度 上 消除 了 地 区 、 学 校 以 及 学 历 差 寞 造成 的 教育 资源 失衡 ， 为 个 体 
种 来 了 更 多 自主 学 习 、 交 流 的 机 会 ， 在 相对 平等 、 充 足 的 教育 资源 的 供 
给 背景 下 ，MOOC 让 学 习 者 目 己 创造 内 容 ， 实 际 上 是 让 个 体 在 MOOC 平 
台 上 根据 自身 职业 、 人 退 求 等 需要 塑造 个 性 化 的 学 习 方式 和 内 容 ， 一 方面 
让 学 习 者 的 学 习 管 理 更 加 具有 能 动 性 ， 另 一 方面 学 习 者 可 能 会 党 得 茫然 
没有 头绪 ， 教 学 效果 可 能 不 理想 。 不 过 ， 军 无 疑问 的 是 ， 小 数据 能 够 使 
MOOC 庶 程 更 加 注重 和 学 习 者 之 间 的 良性 互动 ， 从 而 提升 诬 程 质量 或 增 
加 对 授课 形式 的 设计 。 

















(三 ) 小 数据 让 学 习 更 加 “智慧 ” 


【案例 8.4】 “渴望 学 习 ” (Desire 2 Learn) 是 一 家 总 部 位 于 
加 拿 大 安大略 省 沃 特 卢 的 教育 科技 公司 ， 它 推出 了 基于 过 去 的 学 习 
成 绩 数据 预测 并 改善 其 未 来 学 习 成 绩 的 服务 项 目 。Desire 2 Learn 
公司 的 新 产品 名 为 “学 生成 功 系统 ” (Student Success 
System) ， 该 产品 通过 监控 学 生 阅 读 电 子 化 的 课程 材料 、 提 交 电 子 
版 的 作业 、 在 线 与 同学 交流 、 完 成 考试 与 测验 ， 就 能 让 计算 程序 持 
续 、 系 统 地 分 析 每 个 学 生 的 教育 数据 。 


据悉 ， 加 拿 大 和 美国 的 1 000 多 万 名 高 校 学 生 正 在 使 用 “学 生成 
功 系统 ”来 改善 学 习 成 绩 。 


【案例 解析 】 

从 本 案例 可 以 看 到 ， 小 数据 能 够 使 个 人 的 学 习 过 程 变 得 更 加 知 
营 。“ 学 生成 功 系统 ”的 建立 依托 的 是 海量 的 课程 数据 与 复杂 的 反馈 系统 
的 设计 ， 但 其 秉承 个 性 化 学 习 的 理念 对 每 位 同学 的 学 习 过 程 进行 分 析 ， 
实际 上 是 用 一 种 标准 化 的 方法 汲取 个 人 异 质 性 的 数据 。 这 些 个 体 数 据 对 
于 学 生 的 量化 学 习 具 有 非常 重要 的 意义 。 利 用 “学 生成 功 系 统 ”"， 老 师 得 
到 的 不 再 是 过 去 那 种 只 展示 学 生 分 数 与 作业 的 结果 ， 而 是 像 阅读 材料 的 
时 间 长 短 等 更 为 详细 的 重要 人 信息。 因此， 老师 可 以 及 时 察觉 问题 的 所 
在 ， 提 出 改进 建议 ， 并 预测 学 生 的 期 末 考 试 成 绩 。 


“学 习 成 功 系统 ”中 的 各 类 小 数据 ， 能 够 为 每 一 位 学 生 都 创设 一 个 量 
号 定做 的 学 习 环 境 和 相对 个 性 化 的 课程 ， 其 中 最 突出 的 小 数据 特征 就 是 
一 一 以 一 种 简便 的 方式 实现 了 学 生 与 数字 化 学 习 平 台 之 间 的 “< 人 机 互 
动 "” 通过 对 输入 平台 中 的 各 种 数据 能 够 所 取 只 属于 使 用 者 一 人 的 学 习 
方法 和 特点 ， 从 而 因材施教 ， 进 行 针 对 性 教学 。 并 且 ， 它 能 够 创建 一 个 
早期 预警 系统 以 便 发 现 开 除 和 辍学 等 潜在 的 风险 ， 为 学 生 的 多 年 学 习 提 
供 一 个 富有 挑战 性 而 非 逐渐 厌倦 的 学 习 计划 。 








由、 智能 化 医疗 


(一 ) 小 数据 在 医疗 中 的 应 用 场景 





在 医学 思想 上 ， 中 医 主张 从 人 体 的 全 局 认识 疾病 ， 采 取 的 治疗 措施 
不 仅仅 因 病 而 异 ， 还 因 人 、 因 时 、 因 地 而 异 ; 西医 主张 的 则 是 完全 确定 
性 ， 也 就 是 可 以 从 人 体 的 组 成 完全 确定 人 体 疾 病 的 根源 ， 因 而 可 以 有 针 
对 性 地 实施 治疗 。 


谈 大 小 数据 与 中 西医 之 间 的 类 比 关 系 ， 我 们 知道 ， 西 医 根据 化 验 结 
果 或 其 他 科学 仪器 测试 得 到 的 结果 进行 诊断 。 例 如 ， 人 们 第 说 白血球 计 
数 高 于 10 束 是 及 炎 ， 这 是 有 科学 根据 的 ， 大 量 试验 样本 的 观察 结果 都 是 
如 此 。 这 是 从 大 数据 里 得 到 的 结论 。 但 中 医 不 同 ， 根 据 望 、 闻 、 问 、 
切 ， 推 断 应 该 用 什么 药 ， 绥 解 病情 。 根 据 服 药 以 后 的 情况 ， 随 时 调整 药 
方 。 这 是 一 对 一 的 ， 不 能 根据 别人 的 脉搏 来 诊断 病情 。 这 就 像 局 用 病人 
的 个 人 数据 资料 室 一 样 ， 是 典型 的 小 数据 问题 。 有 很 多 人 因为 中 医 的 诊 
打手 段 在 科技 上 比较 落后 而 诉 病 中 医 的 科学 性 ， 这 是 很 片面 的 。 正 统 中 
医 是 积 演 中国 几 千年 的 文化 ， 经 过 一 代 又 一 代 中 国 行医 先辈 不 断 探索 、 
总 结 出 来 的 精华 。 比 如 ， 张 仲 景 所 著 的 《伤寒 杂 病 论 》 总 结 的 也 是 过 去 
几 千年 的 前 人 经 验 。 从 千 百 万 次 观察 归纳 出 假设 ， 再 经 过 长 期 考验 ， 临 
床 确实 无 误 的 才 上 升 为 中 医学 说 ， 因 而 中 医 同样 是 科学 。 西 医 以 大 量 的 
化 学 试验 为 基础 ， 而 中 医 则 奉行 “神农 答 百 草 ? 式 的 摸索 道路 ， 主 张 辩 证 
施 治 。 从 《本 章 纲 目 》 中 可 能 得 到 茶 种 草药 搭配 能 治 茶 种 病 ， 茶 病人 服 
用 了 ， 有 效 则 继续 ， 无 效 则 调整 药方 。 同 样 的 病症 对 不 同 的 人 ， 用 药 可 
能 不 同 ， 至 少 剂量 会 不 同 ， 完 全 根据 个 人 不 同情 况 处 理 。 


因此 ， 大 数据 是 科学 ， 小 数据 同样 是 科学 。 中 医 这 种 个 性 化 服务 ， 





















































对 于 有 些 老 年 人 、 有 些 病 ， 在 特定 条 件 下 是 最 适合 也 是 最 有 效 的 ， 但 在 
面 对 抢 救 、 手 术 等 情形 时 却 无 能 为 力 。 医 学 是 复杂 的 ， 病 人 在 治疗 过 程 
中 选择 中 医 诊 断 或 是 西医 诊断 原本 惑 是 一 个 小 数据 问题 。 因 而 ， 我 们 在 
探讨 中 医 和 西医 时 ， 应 重点 关注 两 者 不 同 的 应 用 场景 。 表 8-4 大 致 对 两 








者 的 应 用 场景 进行 了 区 分 和 明确 。 
表 8-4 中 医 与 西医 的 应 用 场景 、 数 据 内 容 及 具体 作用 














应 用 场景 数据 内 容 具体 作用 
通过 对 个 体 进行 整体 、 
疾病 预防 、 调 理 身体 、 | 望 、 闻 、 问 、 切 等 观察 | 全 面 的 观察 对 病症 的 机 
慢性 病 、 全 身 性 疾病 等 | 数据 理 进行 认识 ， 从 根源 组 

i 解 病症 
疑难 杂 症 、 跌 打 损伤 、 | 体质 数据 、 药 材 数据 及 | 多 方 数据 结合 形成 中 医 
接 肯 疗 准 、 不 孕 不 衣 。 | 食材 等 数 所 “土方 了 ”， 起 到 奇效 





急症 、 右 官 损伤 等 局 部 
右 质 上 的 病变 


血 常 规 、X 光 、CT、 肠 镜 、 
DNA 结构 等 


治疗 周期 短 ， 局 部 治疗 
速度 较 快 、 效 果 良 好 





西医 
手术 、 咒 官 移植 、 整 容 


竺 
= 于 





(二 ) 小 数据 是 中 医 领域 智能 





配 型 结果 、 排 异 有 反应 、 
复 健 数 据 等 


【案例 8.5】2016 年 10 月 ， 百 度 推 出 百度 人 
的 最 新 成 果 “ 百 度 0 政 透露 ， 
未 来 将 可 能 发 布 “ 中 医 版 ”的 百度 医疗 大 脑 ， 





挽救 生命 、 彻 底 消灭 病 
变 天 人 官 等 


医疗 的 前 所 


智能 在 医疗 领域 内 


目前 百度 医疗 中 医大 


数据 知识 库 已 经 有 1 000 余 本 中 医 古 籍 、1. 1 万 种 中 药 、10 万 方剂 及 
10 余 万 种 中 医药 术语 。 百 度 希 望 借助 这 些 信 息 ， 通 过 图 像 识 别 和 文 
献 挖 据 ， 结 合 望 、 闻 、 问 、 切 的 逢 能 可 穿戴 设备， 实现 中 医 的 每 能 


问 诊 。 


同年 ， 何 里 巴巴 殖 直 的 阿里 健康 当 这 宁 吉林 宁夏 5 运 南 、 
山东 、 浙 江 、 安 徽 等 滋补 品 核心 产 区 政府 、 企 业 和 行业 协会 签署 协 
议 ， 建 立 “ 滋 补 中 国 追 溯 体 系 ”， 这 些 地 区 出 产 的 枸杞 、 忠 草 及 三 
七 等 部 分 滋补 品 及 中 药材 ， 消 费 者 通过 手机 扫 码 的 形式 ， 就 可 得 知 
药材 的 采摘 、 加 工 、 生 产 等 信息 。 


【案例 解析 】 

当前 在 中 医 领域 的 智能 医疗 已 经 成 了 一 个 非 第 重要 的 话题 ， 我 们 看 
到 ， 巨 头 已 经 开始 行动 ， 但 是 从 案例 来 看 ， 巨 头 们 似乎 在 做 的 还 是 一 个 
围 经 “大 数据 ?的 中 医 解决 方案 ， 不 过 这 些 围 纸 大 数据 进行 的 数据 挖掘 ， 
语义 理解 与 知识 图 谐 等 工作 ， 其 实 更 多 是 为 之 后 的 小 数据 分 析 打 基础 。 
因为 中 医 这 门 学 问 ， 从 根本 上 来 讲 并 不 是 一 个 大 数据 问题 。 中 医 讲 完 的 
是 望 、 闻 、 问 、 切 ， 是 全 面 观察 个 体 后 形成 的 小 数据 分 析 结 论 ， 而 大 数 
据 讲 究 的 以 全 量 数据 说 话 ， 全 量 数据 分 析 有 一 个 很 重要 的 特征 就 是 忽视 
因果 性 ， 只 找 相 关 性 。 但 中 医治 疗 本 身 一 定 要 具有 因果 性 才 行 ， 只 找到 
吃 了 某 颗 草药 肚子 就 不 疼 了 这 种 相关 性 是 不 足 为 信 的 。 


从 本 质 上 讲 ， 中 医 是 将 个 体内 部 全 系统 的 运动 变化 与 个 体 行为 相 联 
系 、 相 结合 ， 从 而 找到 病因 、 病 症 和 人 解决 方案 之 间 的 联系 。 对 于 中 医 来 
说 ， 望 、 邮 、 问 、 切 是 获得 个 体 数据 的 重要 途径 ， 也 是 医者 判断 病情 的 
最 主要 依据 。 以 手 诊 为 例 ， 每 个 人 的 手掌 纹路 、 青 筋 等 小 数据 都 反映 出 
了 全 里 多 个 脏 器 的 运 行 状况 。 医 生 由 此 结合 病变 的 部 位 判断 其 性 质 、 收 
证 的 虚实 、 盛 嘉 ， 因 正 而 立法 ， 依 法 而 选 方 ， 随 方 而 遗 药 ， 真 正 贯 罕 
理 、 法 、 方 、 药 的 基本 步骤 ， 才 能 以 常 测 变 。 小 数据 在 中 医 中 的 运用 一 
定 程 度 上 解决 了 医 患 之 间 信 息 不 对 称 的 问题 ， 使 病情 能 够 得 到 更 有 效 的 
医治 ， 这 也 古 中 医 领域 里 智能 医疗 所 必须 遵循 的 前 提 。 



































一 、 认 知 的 革命 


(一 ) 小 数据 与 预见 世界 





传统 意义 上 的 小 数据 是 通过 目前 主流 软件 工具 可 以 在 合理 时 间 内 采 
集 、 存 储 、 处 理 的 数据 集 。 经 典 的 数理 统计 和 数据 挖掘 知识 ， 可 以 较 好 
地 解决 这 类 问题 。 而 大 数据 时 代 下 的 小 数据 ， 是 一 类 新 兴 的 数据 ， 它 是 
以 个 人 为 中 心 的 全 方位 的 数据 ， 是 我 们 每 个 个 体 的 数字 化 信息 ， 因 此 ， 
也 有 人 称 之 为 “iData”"。 这 类 小 数据 跟 大 数据 的 根本 区 别 在 于 ， 小 数据 主 
要 以 单个 人 为 研究 对 象 ， 重 点 在 于 深度 ， 即 对 个 人 数据 深入 的 精确 的 挖 
掘 ， 而 大 数据 则 侧重 在 东 个 领域 方面 ， 在 大 范围 、 大 规模 全 面 数据 收集 
处 理 分 析 ， 侧 重 在 于 广度 。 


小 数据 更 加 “以 人 为 本 ”， 认 识 一 切 数据 存在 的 根本 ， 人 的 需求 是 所 
有 科技 变革 的 动力 。 可 以 预见 ， 在 不 久 的 将 来 ， 数 据 革命 下 一 步 将 进入 
小 数据 时 代 。 通 过 数据 分 析 提 高 销售 水 平和 服务 质量 ， 是 企业 未 来 发 展 
的 重要 手段 。 目 前 ， 我 国 小 数据 的 分 析 和 应 用 虽然 处 于 初级 阶段 ， 但 是 
有 不 少 企业 已 经 可 以 对 现 有 数据 熟练 地 进行 全 面 分 析 ， 并 且 可 以 全 面 把 
握 数据 中 的 变量 ， 充 分 利用 小 数据 分 析 结果 对 公司 进行 发 展 预测 。 不 难 
看 出 ， 这 些 企业 没有 走 大 数据 路 线 ， 而 是 反 其 道 而 行 之 ， 走 起 了 小 数据 
分 析 和 应 用 路 线 ， 并 且 将 小 数据 应 用 于 企业 运营 过 程 中 ， 结 合 小 数据 的 
人 文 因 素 ， 引 入 社会 和 心理 等 因素 ， 能 够 全 方位 、 多 维度 地 进行 分 析 ， 
因此 得 到 的 结果 将 更 加 准确 。 这 也 是 未 来 小 数据 的 发 展 方向 和 趋势。 

另外 ， 为 了 使 得 小 数据 的 分 析 能 够 更 加 精准 、 准 确 ， 进 而 能 够 做 出 
更 加 有 预测 性 、 有 价值 的 决策 ， 使 其 应 用 于 企业 运营 过 程 中 ， 小 数据 预 
测 对 人 才 也 提出 了 要 求 ， 有 统计 学 、 商 业 分 析 和 自然 语言 处 理 能 力 ， 能 
































够 全 面 掌握 数 学 、 统 计 学 、 计 算 机 等 更 多 方面 的 知识 。 


二) 认 知 革命 时 代 


人 类 社会 将 迎 来 认识 章 命 的 新 时 代 。 随 着 这 个 时 代 的 到 来 ， 小 数据 
和 大 数据 都 将 面临 全 新 的 机 电 与 挑战 ， 尤 其 是 大 数据 ， 面 临 着 “ 何 去 何 
从 ”的 抉择 。 认 知 半 命 的 根本 是 “ 极 数 定 象 ”” 对 此 ， 我 们 需要 有 更 深刻 
的 认识 与 理解 。 


回 望 历史 ， 我 们 的 祖先 在 长 期 的 生产 和 生活 过 程 中 ， 在 面 对 天 灾 人 
视 的 威胁 和 生老病死 的 无 妹 时 ， 他 们 海 望 能 够 了 解 世界 的 真相 与 规律 ， 
把 握 上 自己 的 命运 。 在 这 个 过 程 中 ， 他 们 尝试 着 通过 善 草 、 包 甲 、 牛 骨 等 
进行 “占卜 ”， 和 希望 能 够 实现 一 种 * 天 人 之 间 ?” 的 沟通 ， 并 借 此 获得 信息 ， 
了 解 规律 ， 掌 握 命 运 。 这 是 人 类 预测 的 “混沌 时 代 ”。 到 了 春秋 战国 时 
期 古人 在 《 易 经 》 的 研究 过 程 中 ， 提 出 了 “极其 数 ， 遂 定 天 下 之 象 ” 的 
思考 ， 这 不 仅 是 对 “大 数据 ”的 最 早 的 经 典 诠 释 ， 也 是 对 “小 数据 ”的 高 度 
概括 ， 这 让 我 们 不 禁 对 古人 的 智慧 ， 心 生 敬 长 与 赞叹 。 

“极其 数 ， 遂 定 天 下 之 象 ”* 的 关键 和 前 提 是 “ 极 *。“ 极 ”意味 着 最 局 
点 、 尽 头 、 极 点 、 极 限 和 顶端 ， 意 味 着 全 部 和 完整 。 古 人 认为 “ 极 ” 是 
宙 运 动 变化 过 程 中 的 一 个 周期 时 限 ， 是 时 间 的 最 大 单位 和 最 高 层 
次 ,“ 一 极为 31920 年 。“ 极 ” 意 为 时 相 之 尽头 ， 故 有 “太极 ”之 说 。 作 为 动 
词 , “ 极 ” 意 味 痢 务 、 竟 、 客 ， 到 达 极 致 。 因 此 ， 从 认 知 的 角度 看 , “ 极 
其 数 ” 的 “ 极 ”， 首 先 ， 是 对 “ 数 ”《〈 信 息 ) 、“ 量 ”的 观察 ， 即 信息 的 完整 
性 ， 也 是 所 谓 的 “大 数据 ”;， 其 次 ， 是 对 “ 数 ”〈 信 息 ) 、“ 质 ”的 观察 ， 即 
信息 的 深刻 性 ， 也 惑 是 所 谓 的 “小 数据 ”。 


作为 “ 极 * 的 重要 前 提 和 基础 ， 首 先是 基于 全 局 的 观察 (大 数据 〉。 
男 外 ， 我 们 还 想 观 察 每 一 个 局 部 小 数据 ， ， 因 为 “ 极 * 都 是 相对 的 。 由 
于 认 知 的 局 限 ， 人 人 们 往往 容易 被 当下 大 数据 ， 和 自我 (小 数据 ， 所 局 
限 ， 犯 了 “省 中 舌 鹏 “一 叶 障 目 ” 的 错误 ， 却 浑然 不 知 ， 甚 至 自以为是 。 
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但 无 论 如 何 ， 人 要 学 会 建立 起 一 种 人 敬 豚 ， 即 对 “未 知 的 未 知 ” 的 敬 苦 ， 对 
时 空 的 敬 綦 ， 同 时 ， 要 学 会 不 断 突破 自我 ， 不 被 束 强 。 用 中 国 古 人 的 意 
境 表述 是 “会 当 凌 绝顶 ， 一 览 众 山 小 ">。 人 ， 只 有 站 到 了 高 处 〈 大 数 
扬 》“， 才 能 更 全 面 和 更 彻底 地 观察 与 认识 上 自我 (小 数据 ，。 但 即使 是 这 
样 ， 还 要 清醒 地 认识 到 : 我 们 仍然 可 能 是 真相 “茫茫 大 漠 ? 中 的 一 只 蚂 
蚁 。 


(三 》 算 法 时 代 








随 着 科技 的 发 展 ， 特 别 是 量子 理论 和 量子 信息 科学 的 发 展 ， 人 类 社 
会 将 迎 来 “算法 时 代 ”。“ 算 法 时 代 *” 最 重要 的 关键 词 是 “维度 速度”。“ 维 
度 ”， 即 数 据 ， 即 信息 的 维度 (颗粒 上 度 ) ; “速度 ”， 即 处 理 数 据 ， 即 信 
轧 的 速度 。 


“算法 时 代 " 是 一 个 不 断 接近 真相 的 时 代 ， 因 为 ， 认 知 科学 的 本 质 是 
计算 科学 。 作 为 计算 科学 的 重要 基础 是 "数据 可 能 * 与 “计算 〈 算 力 ) 可 
能 "。 还 记得 那 只 “ 认 知 大 漠 中 的 蚂蚁 " 吗 ? 从 “数据 可 能 ”的 角度 看 ， 人 
类 目前 的 认 知 是 :我 们 掌握 的 信息 只 是 “全 部 "信息 的 5%， 因 此 ， 我 们 
的 “无 知 "要 远 远大 于 “已 知 "。 但 随 着 “信息 爆炸 "时 代 的 到 来 ， 随 着 “大 数 
据 * 的 出 现 ， 人 类 能 够 获得 的 信息 将 不 断 扩 大 ， 这 种 扩大 不 仅 是 数量 ， 
更 有 “颗粒 度 *、 维 度 ， 为 “数据 可 能 "提供 巨大 的 想象 空间 。 从 “计算 可 
能 "的 角度 看 ， 随 着 科技 的 发 展 ， 尤 其 是 量子 技术 的 应 用 ， 人 类 的 计算 
能 力 将 迎 来 “超级 计算 时 代 ”， 并 迎 来 “指数 级 "的 进步 与 跨越 。 面 对 一 
个 < 亿 亿 亿 ”的 计算 ， 按 照 现在 的 计算 能 力 ， 可 能 需要 100 年 ， 而 如 果 用 
量子 计算 机 ， 可 能 只 要 0.01 秒 ，“ 计 算 可 能 "是 所 有 可 能 的 基础 

计算 科学 的 进步 带 来 的 计算 能 力 提升 将 成 为 未 来 社会 的 “决定 性 能 
力 ”， 它 对 于 人 类 社会 的 影响 可 能 超过 20 世 纪 的 “核能 力 "， 成 为 财富 再 
分 配 的 重要 因素 ， 其 至 是 决定 力量 。 正 如 目前 已 经 开始 疡 露头 角 的 “ 吞 
能 投 顾 *， 就 是 一 个 典型 的 场景 。 未 来 ， 当 一 个 “基金 经 理 * 面 对 “智能 投 






































顾 * 时 ， 束 可 能 像 当年 义和团 的 “长 予 大 思 ” 面 对 八国 联 和 车 的 “ 洋 枪 洋 
炮 ? 一 样 ， 勇 气 昌 可 过 ， 结 果 却 无 条 ， 留 下 的 只 是 儿 声 蜂 喊 ， 儿 声 感 
叹 。 


从 “数据 可 能 "的 角度 看 ， 随 着 感 测 技术 的 发 展 ， 能 够 实现 对 这 个 世 
界 “ 更 加 透彻 的 感知 "。 随 着 通信 技术 的 发 展 ， 能 够 实现 对 人 和 信息 
的 “更 加 全 面 的 互联 互通 "。 因 此 ， 人 们 能 够 更 加 直接 、 微 观 、 立 体 、 实 
时 和 动态 地 观察 世界 ， 同 时 ， 随 着 社会 的 全 面 数字 化 ， 我 们 将 迎 来 " 数 
字 生 命 " 和 "数字 社会 "时 代 ， 迎 来 数字 和 信息 的 高 维 时 代 ”， 它 意味 着 
数字 化 的 与 生 俱 来 ， 意 味 着 数字 化 的 无 处 不 在 。 

从 “计算 可 能 ”的 角度 看 ， 随 着 量子 力量 的 发 展 与 应 用 ， 也 包括 纳米 
技术 等 相关 科技 进步 的 策应 ”， 信 息 技术 领域 将 迎 来 革命 性 的 迭代 进 
化 ， 具 体 表现 在 处 理 、 存 储 、 传 输 和 安全 四 大 领域 。 数 据 处 理 〈 计 算 ) 
能 力 是 核心 能 力 ， 因 为 ， 计 算 速度 的 提升 不 仅 是 一 个 技术 指标 ， 更 是 一 
个 基础 理论 和 科技 进步 的 关键 指标 ， 并 且 ， 就 认 知 科学 ， 乃 至 整个 人 类 
社会 而 言 ， 速 度 等 于 可 能 ! 在 基于 量子 技术 的 超级 计算 面前 ， 所 有 “ 数 
学 难题 " 均 是 “小 菜 一 碟 "， 微 不 足 道 。 而 随 着 计算 能 力 的 提升 ， 认 知 将 
进一步 深化 ， 也 为 智能 化 商定 了 坚实 的 基础 。 

当 认 知 科学 领域 发 生 “ 天 翻 地 履 "的 变化 时 ， 我 们 的 未 来 又 会 是 怎 
样 ? 认 知 革命 ， 特 别 是 真相 时 代 * 的 到 来 ，“ 预 测 "将 被 预见 "取代 ， 那 
和 勾 ，“ 预 见 未 来 "将 不 再 是 遥远 的 星辰。 如 果 认 知 科学 的 本 质 是 计算 科 
学 ， 那 么 ，“ 大 数据 "和 “小 数据 "争夺 所 谓 “大 小 ”的 “江湖 地 位 ”意义 何 
在 ? 但 我 们 需要 觉悟 的 是 ;此 “数据 " 非 彼 " 数 据 "。 面 向 未 来 ，“ 大 数 
据 " 和 “小 数据 "将 开启 一 个 “全 新 故事 ”， 一 个 “预见 未 来 "的 故事 。 









































(四 ) 信用 评估 





1830 年 ， 英 国 伦 致 第 一 家 现代 征 信 机 构 的 出 现 标 志 着 资信 评估 行业 
的 诞生 。 到 20 世 纪 初 ， 资 信 评 佑 行业 逐渐 形成 了 信用 评级 和 征 信 两 大 相 


对 独立 的 分 文 ， 前 者 主要 服务 于 资本 市 场 ， 如 美国 的 标 普 、 中 国 的 大 公 
国际 等 公司 ， 后 者 主要 服务 于 借贷 市 场 ， 如 美国 的 FICO《 费 埃 哲 ) 公 
司 、 中 国 的 中 国人 民 银 行 征 信 中 心 等 机 构 。 


大 数据 是 信息 时 代 发 展 到 数字 化 阶段 的 结果 与 体现 ， 尽 管 对 于 大 数 
据 以 及 大 数据 时 代 的 定义 还 存在 一 些 争议 ， 但 是 大 数据 对 人 类 经 济 、 社 
会 、 思 想 、 文 化 等 领域 的 影响 与 冲击 则 是 有 目 共 睹 的 ， 并 且 这 种 影响 日 
茶 深 刻 与 广泛。 大 数据 时 代 的 一 个 突出 特征 就 是 信息 量 及 其 增长 速度 的 
飞速 提高 ， 同 时 信息 传输 方式 越 来 越 便 捷 。 而 揭示 信用 风险 的 资信 评估 
正 古 以 信用 信息 为 加 工 和 分 析 的 载体 ， 当 前 大 数据 对 传统 资信 评估 尤其 
征 对 企业 信用 评级 和 个 人 信用 评分 方面 产生 了 巨大 的 冲击 。 


同时 ， 大 数据 征 信和 目前 存在 一 些 困难 : 一 是 数据 的 虚拟 性 和 “信息 
噪声 ”。 虽 然 大 数据 及 其 分 析 提 高 了 信息 获取 的 数量 和 精度 ， 但 由 于 虚 
拟 世 界 中 信息 大 爆炸 造成 的 “信息 噪声 ”， 导 致 灾 易 者 身份 、 交 易 真 实 
性 、 信 用 评价 的 验证 难度 更 大 ， 反 而 可 能 在 妨 一 层面 更 强化 信息 不 对 称 
程度 ， 也 更 容易 存在 信息 垄断 。 二 是 信用 数据 关联 的 不 确定 性 。 信 用 数 
据 是 多 样 化 的 ， 包 括 朋 友信 用 、 爱 情 信 用 、 事 业 信用 等 。 所 谓 忠 孝 不 能 
两 全 ， 一 个 对 朋友 忠诚 的 人 不 一 定 对 事业 忠诚， 对 事业 或 工作 忠诚 ， 也 
不 一 定 能 说 明 他 的 金融 信用 好 。 大 数据 通过 日 常 信用 来 判断 金融 信用 会 
出 现 偏 产 。 三 是 “数据 天 龟 ” 不 能 实现 数据 共 诗 。 互 联网 平台 具有 强烈 的 
规模 效应 ， 平 台 越 大 越 容易 产生 数据 ， 越 容易 使 用 数据 ， 但 是 大 平台 的 
数据 ， 不 可 能 提供 给 其 他 公司 使 用 。 


因此 ， 虽 然 大 数据 征 信和 能 够 降低 信息 不 对 称 性 ， 更 全 面 地 了 解 授 信 
对 象 ， 并 增加 反 欺 诈 能 力 ， 同 时 能 够 更 精准 地 进行 风险 定价 ， 但 目前 还 
不 能 完全 取代 传统 征 信 。 大 数据 风 控 可 以 从 数据 维度 和 分 析 角 度 提 升 传 
统 风 控 水 平 ， 作 为 一 个 必要 的 补充 ， 可 以 让 传统 风 控 更 加 科学 严 说， 但 
古 真 正 的 信用 评估 应 该 包括 传统 的 数据 (小 数据 ) 、 可 蔡 代 的 数据 《大 
数据 ) 、 用 户 网 上 行为 数据 (小 数据 ，、 社 交 网 络 信息 (大 数据 、 用 
户 上 自己 回答 的 信息 《小 数据 ) ， 要 把 这 些 信 息 全 部 毕 合 起 来 才 可 以 事 半 




































































功 倍 。 


二 、 经 各 的 本 质 





(一 ) 企业 经 营 中 的 小 数据 应 用 场景 


我 们 每 一 个 人 生 在 这 世界 上 都 是 独一无二 的 ， 每 个 人 都 有 自己 鲜明 
的 个 性 和 特点 ， 这 是 由 我 们 每 个 人 与 众 不 同 的 DNA 序 列 所 决定 的 。 通 常 
人 们 会 评价 一 个 人 乐观 、 善 良 、 敏 感 多 疑 、 热 情 、 有 责任 心 等 ， 这 些 都 
是 一 个 人 的 个 性 标签 。 同 样 ， 从 个 体 的 层面 看 ， 一 个 企业 也 算得 上 是 一 
个 个 性 鲜明 的 “人 ”， 每 个 企业 都 有 自己 独特 的 个 性 ， 我 们 一 般 称 之 为 企 
业 文 化 。 

企业 文化 是 一 个 企业 价值 观 的 集中 体现 ， 就 像 古 代 每 个 部 落 都 有 一 
个 自己 的 图 腾 一 样 ， 有 的 图 腾 是 磨 ， 有 的 图 腾 是 上 席 ， 象 征 着 这 个 部 落 独 
特 的 文化 和 信仰 。 企 业 文化 是 一 个 企业 联系 企业 员工 和 加 强 企业 凝聚 力 
的 法 器 ， 随 着 时 间 的 变化 和 企业 的 发 展 ， 它 会 有 所 变化 ， 这 些 共 有 的 价 
值 观念 体现 也 决定 了 企业 员工 对 企业 的 看 法 和 对 社会 的 理解 。 当 然 ， 企 
业 文 化 一 般 始 于 企业 创始 人 的 个 人 信念 和 远见 ， 创 始 人 一 般 拥 有 独创 性 
的 思想 ， 要 突破 一 个 行业 的 禁 钢 和 局 限 性 ， 才 能 创立 一 个 独树一帜 的 公 
司 ， 在 市 场 上 占 得 一 席 之 地 。 为 了 使 创始 人 的 个 人 信念 更 好 地 传递 给 企 
业 员 工 ， 才 有 了 企业 文化 和 其 他 的 管理 制度 ， 通 过 这 种 方式 影响 到 每 个 
员工 ， 心 回 一 处 想 ， 劲 往 一 处 使 ， 才 能 让 企业 越 做 越 强 。 如 IBM 公 司 的 
创始 人 托马斯 : 沃 森 ， 虽 然 于 1956 年 去 世 ， 但 他 关于 研发 、 产 品质 量 、 
报酬 政策 等 的 灼 见 ， 至 今 仍 体现 在 公司 的 日 常 经 营 中 。 

不 同 于 企业 可 量化 的 财务 数据 、 房 产 规模 、 不 动产 价值 、 投 资 收益 
等 ， 一 个 企业 的 企业 文化 、 管 理 制 度 、 创 始 人 的 眼界 、 理 想 等 这 些 每 个 
企业 都 有 各 不 相同 的 个 性 特征 ， 是 一 个 企业 小 数据 的 集合 ， 虽 然 我 们 可 
































以 从 企业 的 财务 报表 等 可 量化 分 析 的 数据 指标 去 分 析 一 个 企业 的 经 营 效 
蔓 、 资 金 流动 状况 的 好 坏 ， 可 以 从 数据 结构 运用 大 数据 挖掘 撤 术 去 分 析 
这 个 企业 的 优势 劣势 ， 但 是 仅仅 从 大 数据 层面 去 评判 一 个 企业 是 远 远 不 
够 的 ， 数 据 只 能 体现 一 个 企业 短期 的 、 账 面 上 的 运营 状况 ， 但 对 企业 的 
发 展 起 决定 性 作用 的 还 是 企业 文化 、 管 理 效率 、 员 工 质量 及 忠诚 度 等 这 
些 不 可 完全 量化 的 小 数据 。 一 家 公司 可 能 近 几 年 运营 良好 ， 各 项 数据 指 
标 都 很 优秀 ， 但 是 决策 者 的 一 个 决策 失误 、 企 业 管 理 的 路 色 和 低 效 ， 都 
会 导致 这 家 公司 走 下 坡 路 ， 而 这 些 都 是 通过 大 数据 难以 准确 发 现 和 确定 
的 ， 但 是 小 数据 能 做 到 。 














(二 ) 企业 经 营 的 “大 环境 与 小 环境 ” 


【案例 9.1】 在 大 数据 时 代 ， 以 互联 网 为 代表 的 现代 信息 科技 将 
从 根本 上 改变 金融 运营 模式 。 数 据 在 呈现 出 海量 化 、 多 样 化 、 传 输 
快速 化 和 价值 化 的 变化 趋势 的 同时 ， 也 改变 了 传统 金融 行业 的 市 场 
竞争 环境 、 营 销 策略 和 服务 模式 。 某 商业 银行 ， 基 于 客户 特征 集合 
形成 的 客户 标签 有 成 百 上 千 甚 至 成 千 上 万 个 ， 这 些 标签 在 构建 时 的 
业务 目的 和 适用 场景 各 有 不 同 。 随 着 应 用 标签 的 场景 越 来 越 丰富 ， 
该 银行 想 逐 渐 形 成 一 套 完 整 的 客户 标签 体系 。2017 年 ， 该 银行 提出 
对 现 有 数据 库 进 行 改 造 、 替 换 ， 升 级 为 大 数据 平台 ， 改 变 传统 的 数 
据 分 析 方式 。 


【案例 解析 】 

随 痢 “大 数据 时 代 ” 的 来 临 ， 数 据 分 析 对 于 银行 的 重要 性 已 成 为 业界 
的 共识 。 关 于 银行 大 数据 如 何 获取 以 及 如 何 使 用 的 讨论 层出不穷 ， 然 
而 ， 说 到 具体 应 用 又 另 当 别论 了 。 “大 数据 分 析 ” 也 意味 着 高 成 本 的 投 
入 ， 与 其 距 踏 于 是 人 否 花费 巨 资 做 到 面面俱到 ， 我 们 建议 不 妨 移 从 一 些 投 
入 产 出 比 高 的 “小 数据 ”分析 入 手 。 

















大 数据 实际 是 从 多 如 索 星 的 信息 中 抽取 出 对 客户 需求 、 态 度 和 行为 
的 洞 见 ， 从 而 帮助 制定 高 度 聚 焦 的 精准 销售 和 市 场 营 销 活动 。 这 样 的 做 
法 其 实 并 不 新 鲜 ， 早 些 年 市 场 营 销 人 员 就 已 经 开 始 借助 对 已 有 数据 的 分 
析 来 文 撑 营销 项 目 。 


如 今 的 不 同 之 处 在 于 : 由 于 信息 收集 、 储 存 和 分 析 技 术 的 发 展 和 处 
理 能 力 的 提升 ， 可 供 使 用 的 数据 和 种 类 都 已 呈 几 何 式 增长 。 军 无 疑问 ， 
这 些 新 的 信息 撤 术 为 获得 更 为 深入 而 复杂 的 客户 行为 数据 、 制 定 更 为 精 
准 的 商业 战略 、 财 务 与 风险 管理 等 提供 了 极 大 的 可 能 性 。 

大 数据 项 目 同 时 意味 看 大 量 的 成 本 投入 和 风险 。 例 如 ， 大 数据 项 目 
需要 大 量 的 资金 和 人 力 投 入 ， 而 这 样 的 投入 往往 超出 大 部 分 银行 的 可 接 
受 范围 。 此 外 ， 这 类 项 目的 有 效 性 主要 取决 于 对 前 期 假设 的 验证 ， 从 而 
确立 算法 来 建 并 预测 模型 。 然 而 ， 这 些 数 据 模型 中 常常 会 出 现 偶 然 和 不 
同 数据 类 型 的 差异 性 ， 会 导致 后 续 验 证 工作 卉 常 困难 。 


然而 ， 如 此 面面俱到 的 分 析 任 务 并 不 一 定 能 够 提供 给 管理 层 足 够 的 
洞 见 ， 来 制定 改善 业务 绩效 的 措施 。 因 此 ， 我 们 建议 银行 将 有 限 的 资源 
投入 在 更 为 可 控 ， 且 投入 产 出 比 更 高 的 数据 分 析 维 度 上 ， 这 样 反而 会 产 
生 更 多 直观 的 收益 和 可 衡量 的 结果 。 

更 好 的 分 析 结 果 对 利润 和 发 展 而 言 非 第 重要， 关键 在 于 如 何 选择 简 
单 而 又 有 力 的 分 析 方 法 ， 为 银行 的 主要 及 展 与 管理 指标 (财务 表现 、 客 
户 、 市 场 信 息 与 机 会 、 运 营 效率 和 服务 渠道 的 优化 ) ， 来 提取 更 有 实际 
意义 和 可 操作 性 强 的 信息 。 

这 些 类 型 的 分 析 并 不 需要 复杂 的 公式 、 新 奇 的 技术 ， 也 不 需要 IT 资 
源 过 多 的 投入 。 男 外 ， 这 些 数据 能 够 与 第 三 方 机 构 已 经 做 的 行业 标杆 数 
据 和 市 场地 域 信息 等 数据 进行 对 比 。 我 们 建议 银行 可 先 从 以 下 这 五 个 方 
面 的 “小 数据 ?分 析 开 始 。 






































(1) 财务 报表 





许多 银行 高 管 会 使 用 财务 数据 来 与 同行 进行 比较 ， 从 而 为 个 人 业务 
战略 与 投资 方 癌 设 定 更 高 水 平 的 业务 与 贡献 度 指 标 。 然 而 ， 这 样 的 比较 
必须 不 限于 高 水 平 的 绩效 指标 ， 如 股本 回报 或 净利 润 收入。 为 了 让 数据 
分 析 更 为 有 效 ， 还 需要 包括 其 他 驱动 因素 ， 如 存 球 组 合 与 增长 、 赚 取 的 
资产 及 运营 效率 等 指标 。 另 外 ， 还 需要 与 一 组 高 绩效 银行 的 数据 进行 单 
独 比较 ， 并 对 所 选 高 绩效 银行 的 成 功 案例 进行 收集 ， 从 而 更 为 全 面 而 深 
入 地 了 解 其 业务 策略 市 场 、 聚 焦点 和 运营 环境 等 成 功 要 聂 。 











(2) 客户 


客户 是 银行 最 有 价值 的 资产 ， 大 部 分 银行 无 论 是 针对 个 人 银行 客户 
还 是 公司 银行 客户 ， 客 户 关 系 省 理 系统 中 都 已 有 非常 多 的 可 供 分 析 的 数 
据 ， 如 产品 渗透 京 、 余 额 情况 、 服 务 渠 道 的 活跃 度 、 利 率 和 风险 偏好 


及 
等 。 








其 中 最 大 的 挑战 在 于 要 将 数据 形成 相应 的 模型 ， 从 而 帮助 识别 客户 
获取 、 交 叉 销售 和 客户 保留 的 机 会 ， 进 而 用 于 制定 市 场 营 销 抓 手 、 销 售 
全 略 以 及 客户 关系 管理 相关 的 其 他 决策 。 在 这 些 客户 经 营 指 标 方面 ， 第 
三 方 机 构 已 有 相应 的 行业 标杆 数据 ， 银 行 可 通过 将 本 行 数据 与 行业 标杆 
数据 比 对 之 后 ， 确 定 更 为 切实 可 行 的 绩效 改进 目标 和 学 习 对 象 。 








(3) 市 场 


银行 的 战略 方向 和 业绩 水 平 很 大 程度 上 受制 于 其 所 服务 的 市 场 大 
小 、 规 模 及 其 构成 以 及 市 场 活力 的 影响 。 因 此 ， 建 立 一 份 有 关 服 务 市 场 
的 档案 信息 非常 必要 ， 银 行 能 够 从 中 制定 竞争 策略 、 识 别 市 场 增长 潜力 
并 设 定 工作 的 优先 级 。 

理想 情况 下 ， 市 场 信息 档案 应 包含 当地 经 济 和 人 口 统计 信息 ， 预 期 
的 增长 空间 、 目 标 客 户 的 集中 度 等 数据 ， 因 为 这 些 数 据 将 会 直接 影响 其 
市 场 中 目标 客 群 的 细 分 、 金 融 产 品 的 使 用 行为 、 市 场 竞 争 的 类 型 和 竞争 











激烈 程度 等 。 


银行 的 客户 基础 和 竞争 水 平 ， 将 与 每 个 市 场 的 信息 进行 比 对 ， 增 长 
潜力 也 将 通过 客户 细 分 群体 和 产品 计算 出 来 。 这 样 的 分 析 能 够 帮助 银行 
识别 当前 在 哪些 市 场 产 品 和 细 分 客户 群体 的 渗透 率 较 低 ， 进 而 帮助 银行 
制定 相应 的 业务 战略 和 设 定 客户 获取 、 交 又 销售 和 客户 保留 等 同 项 目的 
优先 级 。 


同样 地 ， 市 场 分 析 应 该 服务 于 每 个 银行 网 点 的 服务 领域 。 这 样 的 分 
析 能 够 帮助 银行 网 点 确定 自身 的 销售 目标 和 人 员 配 置 等 。 




















(4 运营 


改进 生产 力 和 效率 对 于 提升 财务 表现 至 关 重 要 。 其 实 ， 银 行 已 经 有 
大 量 能 够 判别 运营 效率 和 跟踪 绩效 表现 的 数据 ， 只 是 这 些 数据 需要 更 好 
地 进行 收集 、 组 织 和 分 析 。 运 营 效率 的 分 析 方式 是 针对 支持 部 门 和 直接 
面向 客户 的 部 门 ， 选 取 一 定数 量 的 相关 指标 进行 分 析 与 排名 ， 同 时 还 可 
再 与 行业 标杆 数据 进行 比 对 。 

这 项 分 析 的 目的 是 识别 银行 在 哪些 方面 与 同业 的 做 法 存在 着 差距 以 
及 差距 的 大 小 ， 同 时 还 将 有 助 于 银行 制定 相应 的 提升 策略 和 优化 措施 ， 
以 便 达到 改进 产能 与 效率 的 目标 。 











(5) 渠道 与 销售 


对 每 一 个 网 点 在 其 服务 范围 内 的 经 营 特色 、 发 展 机 会 与 现状 进行 分 
析 ， 是 非常 有 必要 的 。 每 个 网 点 的 绩效 分 析 维 度 应 包含 : 销售 和 服务 活 
动 、 财 务 表 现 、 运 营 成 本 、 人 员 配 置 水 平 与 人 员 构 成 ， 以 及 网 后 的 活 
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我 们 建议 将 网 点 的 绩效 分 析 与 市 场 分 析 相 结合 。 这 样 做 能 够 帮助 管 
理 层 对 市 场 营销 经 费 的 分 配 、 人 员 配 置 水 平 ， 以 及 应 该 关闭 哪 些 网 反 、 





在 什么 地 方 开始 新 网 点 、 如 何 对 部 门 进行 重组 等 方面 做 出 更 为 合理 的 决 


床 。 


男 外 ， 建 议 银 行 对 每 个 网 点 的 手机 银行 和 网 上 银行 的 窗 盖 比 例 进行 
分 析 。 这 样 的 分 析 一 方面 能 够 与 同业 标杆 数据 进行 对 比分 析 ， 丸 一 方面 
有 助 于 制定 更 为 有 效 的 市 场 策略 和 营销 项 目 。 

这 五 个 方面 的 分 析 能 够 相对 容易 地 开展 并 为 管理 者 、 投 资 人 和 并 购 
伙伴 提供 关键 的 信息 。 对 于 大 部 分 银行 而 言 ， 将 有 限 的 资源 投入 在 小 数 
据 分 析 上 而 不 是 昂贵 的 大 数据 分 析 上 ， 实 则 更 为 合理 。 








三 、 信 用 的 价值 





(一 ) 小 数据 在 信用 评估 中 的 应 用 场景 


征 信 对 于 国人 来 讲 ， 在 2015 年 以 前 还 是 一 个 比较 陌生 的 概 您 。 目 
2015 年 初 央行 开启 个 人 征 信 市 场 化 闸门 以 来 ， 征 信 势 如 破 竹 般 迅 速 进入 
公众 视野 ， 并 通过 与 金融 、 了 商业、 消费 、 生 活 等 场景 的 结合 ， 迎 来 爆发 
式 的 突进 。2015 年 1 月 ， 获 准 做 好 开展 个 人 征 信 相关 业务 准备 工作 的 八 
家 民间 征 信人 公司， 取得 了 第 一 批 个 人 征 信 牌 照 ， 其 中 既 包括 中 诚信 、 肤 
元 征 信 这 样 的 传统 征 信 公司 ， 也 包括 芝麻 信用 、 腾 讯 征 信 、 前 海 征 信 这 
些 背 靠 阿 里 、 腾 讯 、 平 安 集团 的 互联 网 征 信 公司 。 加 之 百度 、 素 东 、 宜 
信 等 公司 对 个 人 征 信 的 垂 疙 ， 以 及 企业 征 信 市 场 需求 的 快速 增长 ， 整 个 
征 信 市 场 呈现 出 迁 艺 发 展 、 百 花 齐 放 的 态势 。 大 数据 征 信 拓 展 了 资信 评 
佑 信用 信息 的 内 容 《〈 详 见 表 9-1) 。 


表 9-1 传统 资信 评估 与 大 数据 资信 评估 在 信用 信息 上 的 比较 








项 目 大 数据 资信 评估 传统 资信 评估 








内 涵 切 信息 都 是 信用 信息 以 资产 负债 类 信息 为 主 








守 奖 网线。 电光 网 纺 移动 | 私营 商业 银行 、 上 市 商业 银行 、 开 发 银行 
- 父 刚 给 、 宫 网 络 、 

ns 信用 合作 社 、 财务 公司 、 信 用 卡 发 卡 公司 、 
ot 贷款 公司 、 零 售 商 、 公 用 事业 单位 等 
































FICO 评分 只 ZestFinance 10000 多 条 信息 
数量 数量 有 限 有 条 下 Wecash 闪 银 6000 个 数据 点 
变量 Kreditech 15000 个 数据 点 

类 型 以 非 结 构 化 数据 为 主 以 结构 化 数据 为 主 


(1) 拓展 了 信用 信息 的 来 源 。 传 统 资信 评估 的 信用 信息 来 源 主要 
是 以 银行 为 主 的 金融 机 构 ， 如 私营 商业 银行 、 上 市 商业 银行 、 开 发 银 
行 、 信 用 合作 社 、 财 务 公 司 、 信 用 卡 发 卡 公 司 、 贷 款 公司 等 ， 另 外 也 有 
部 分 公用 事业 单位 。 因 此 ， 其 信用 信息 主要 是 金融 交易 记录 信息 ， 这 一 
点 在 中 国人 民 银 行 征 信 报告 中 体现 得 也 非常 明显 。 而 大 数据 资信 评估 的 
言 息 来 源 比较 广泛 ， 除 了 通过 征 信 机 构 获 得 传统 资信 评估 信息 以 外 ， 主 
要 借助 现代 通信 技术 ， 从 社交 网 络 、 电 商 网 络 、 移 动 终端 等 获得 各 种 信 
用 信息 ， 并 且 这 些 网 络 来 源 的 信息 量 非常 大 。 

(2) 扩展 了 资信 评估 的 参考 变量 。 美 国 FICO 信 用 评分 指标 不 超过 
50 个 ， 一 般 包含 15~20 个 变量 ， 当 前 中 国人 民 银 行 的 个 人 信用 报告 仪 包 
含 20 个 左右 的 变量 。 而 美国 的 ZestFinance 公 司 进 行 信 用 评估 时 ， 采 集 贷 
款 人 10000 多 条 信息 ， 最 后 遂 选 出 7000 条 指标 变量 ;德国 的 Kreditech， 
采集 15000 多 个 数据 点 ;中 国 的 Wecash 闪 银 软件 ， 采 集 到 用 户 6000 个 数 
据点 。 


(3) 增加 了 信用 信息 的 数据 类 型 。 根 据 存储 特征 ， 可 以 将 数据 分 
为 结构 化 数据 、 非 结构 化 数据 。 结 构 化 数据 具有 一 定 的 逻辑 结构 和 物理 









































结构 ， 一 般 存 储 在 数据 库 中 ， 大 多 存储 在 关系 数据 库 中 。 结 构 化 以 外 的 
数据 即 为 非 结 构 化 数据 ， 大 多 以 文本 的 形式 存在 ， 不 能 存储 到 数据 库 

中 ， 而 非 结构 化 数据 中 ， 有 一 部 分 又 具有 一 定 的 逻辑 结构 和 物理 结构 ， 
如 HTML (〈 超 文本 标记 语言 )》 、XML 〈 可 扩展 标示 语言 ) 中 的 一 些 数 

据 ， 即 属于 半 结 构 化 数据 。 传 统 信 用 信息 对 应 的 数据 基本 都 是 结构 化 数 
据 ， 可 以 用 二 维 表 描 述 ， 而 大 数据 时 代 的 信用 信息 大 多 是 非 结 构 化 数 

据 ， 难 以 用 传统 的 数据 库 储 存 ， 这 就 使 大 数据 资信 评估 的 数据 分 析 手 段 
与 传统 资信 评估 区 别 较 大 。 




















(二 ) 评 意愿 还 是 测 能 力 


【案例 9.2】2015 年 8 月 12 日 ， 蚂 蚁 金 服 旗下 芝麻 信用 与 网 易 旗 
下 单身 交友 社区 花田 达成 合作 ， 花 田 会 员 可 以 授权 开通 并 展示 芝麻 
信用 分 ， 还 可 以 查看 交友 对 象 的 芝麻 信用 分 ， 力 求 “ 诚 信 交 
友 ”“ 杜 绝 骗 婚 ”。 仅 在 2015 年 的 上 半年 ， 几 家 民营 征 信 公司 就 已 
迅速 完成 组 织 建设 ， 推 出 了 各 具 特 色 的 信用 评分 产品 〈 见 表 9-2) 。 
比如 ， 芝 麻 征 信 的 “芝麻 分 ”和 考 拉 征 信 的 “ 考 拉 分 ”已 经 应 用 到 
酒店 、 租 车 、 旅 游 等 多 个 场景 ; 前 海 征 信 的 “好 信 度 ”目前 主要 服 
务 于 金融 信贷 ， 华 道 征 信 已 推出 的 “ 猪 猪 分 ”专门 用 于 检验 租房 者 
信用 状况 ， 中 诚信 的 “万 象 分 ” 则 可 以 用 于 就 医 、 保 险 领域 。2016 
年 ， 随 着 共享 单车 等 “共享 经 济 ” 产 品 的 火爆 ， 个 人 信用 分 成 为 了 
租车 用 车 免 押 金 的 重要 依据 .……: 


表 9-2 常见 的 市 场 化 征 信 产品 介绍 





主要 股东 


主要 数据 来 源 


征 信 产 品 





之 麻 信 用 


蚂蚁 金 服 


阿里 巴巴 的 电 商 数据 、 
蚂蚁 金 服 的 互联 网 金融 
数据 ; 合作 的 第 三 方 机 
构 提 供 的 数据 ( 包括 公 
安 、 法 院 、 政 府 部 门 等 
提供 的 数据 ) 





信用 评分 服务 : 之 嘛 信用 分 ， 
参考 国际 主流 的 信用 评分 模 
式 , 综合 考虑 包括 信用 历史 、 
行为 嗜好 、 履 约 能 力 、 身 份 特 
质 、 人 脉 关系 五 个 维度 的 信息 





腾讯 征 信 


腾讯 








QQ 的 社交 数据 、 财 付 通 
的 交易 数据 ; 合作 的 第 
三 方 机 构 提 供 的 数据 ( 包 
括 教育 、 交 通 等 数据 ) 








有 反 欺 诈 产 品 ， 包括 人 脸 识 别 和 
欺诈 测评 两 个 主要 的 应 用 场 
景 ， 主 要 服务 于 银行 、 证 券 、 
P2P 等 商业 机 构 

个 人 信用 报告 : 信用 等 级 采取 
打 星 的 形式 ， 综 合 考虑 用 户 的 
消费 偏好 、 资 产 构 成 、 身 份 属 














性 和 信用 历史 四 个 维度 
机 构 ”| 主要 股东 主要 数据 来 源 征 信 产 品 
t 兰 图 诅 人 站 口 立信 用 分 ， 
| 
所 包括 个 人 信用 分 和 职业 信用 分 
极 信息 、 蓝 | 他 股东 的 数据 ; 合作 的 | (oi 平反、 对 倍 信人 
考 拉 征 信 | 色光 标 、 拓 | 第 三 方 机 构 提供 的 数据 nn 
尔 思 、 梅 夫 | (包括 公安 、 法院、 航空 在 贷 前 、 贷 中 、 贷 后 进行 认证 、 
证 人 tee ”| 跟踪 和 审核 ,为 互联 网 金融 平 
卫 台 提供 风险 保障 
数据 产品 : 好 信 黑 名 单 、 好 信 
度 (评分 产品 Credoo ) 、 好 信 
Y 六 ”人 储 人 时 和 洽 * 
前 海 征 信 | 平安 集团 | * 安 案 团 的 数据 ; 合作 | 盔甲 《 防 若 诈 平 台 】 





金融 公司 提供 的 数据 





功能 性 插件 : 好 信 认 证 和 好 信 
易 申 请 〈 识别 客户 身份 ) 


【案例 解析 】 

“信用 分 ”是 各 征 信 公 司 通 过 自身 平台 和 外 部 抓 取 的 个 人 信息 数据 进 
行 分 析 整 合 ， 对 个 人 的 消费 能 力 、 偿 债 能 力 和 还 债 意愿 等 做 出 的 综合 测 
试 评分 数 。 数 据 类 型 五 花 八 门 ， 有 电 商 如 淘宝 、 天 猫 等 购物 数据 ， 第 三 
方 文 付 的 交易 数据 ， 通 信 、 水 、 气 等 缴 颖 及 其 他 公共 事业 数据 ， 社 交 数 
据 ...... 这 些 数 据 的 利用 和 分 析 有 赖 于 大 数据 技术 的 计算 和 分 析 ， 因 此 个 
人 征 信 叉 称 为 大 数据 征 信 。 征 信 本 质 上 是 从 信用 能 力 和 信用 意愿 两 方面 
分 析 ， 但 是 大 数据 征 信 和 真 的 能 同时 测评 这 两 方面 吗 ? 银行 等 金融 机 构 的 
信贷 数据 是 较 好 的 数据 ， 而 其 他 很 多 征 信 应 用 场景 多 以 判断 主体 的 诚信 
度 来 预 判 违约 可 能 ， 其 实质 只 帮助 判断 信用 评估 里 的 主体 履约 意愿 问 
题 ， 而 不 能 正确 评估 更 重要 的 主体 履约 能 力 问题 。 大 数据 中 存在 几 方面 
的 问题 ，(W 市 场 中 很 多 模型 只 适用 于 自己 的 小 生态 ， 应 用 场景 有 限 ， 数 
据 共 至 、 平 台 开 放 可 能 性 不 大 ， 同 一 个 人 在 不 同 平台 得 到 的 评分 可 能 会 
和 干 差 万 别 ;，(@“ 征 信和 采集 者 与 使 用 者 没有 任何 关系 ”的 原则 被 打破 ， 市 场 
化 的 征 信和 机构 数据 的 采集 和 使 用 都 与 自身 平台 使 用 有 着 干 丝 万 缕 的 联 
系 ， 既 做 裁判 义 做 选手 ， 最 终 评价 的 公正 性 有 竺 商 梭 ;8 市 场 化 征 信 体 
系 的 评估 范畴 尚 无 统一 权威 的 定论 ， 征 信 的 范围 越 来 越 大 ， 如 交通 违 
章 、 地 铁 逃 票 等 。 这 些 行为 虽然 揭露 了 个 人 品质 存在 的 问题 ， 但 并 不 是 
金融 属性 的 数据 ， 与 还 丈 能 力 和 意愿 并 没有 太 密 切 的 关联 ， 将 其 纳入 考 
虑 很 可 能 是 不 恰当 的 。 





























四 、 车 事 的 科学 





(一 ) 军事 中 的 小 数据 应 用 场景 


在 军事 领域 ， 基 于 大 数据 的 战场 将 更 加 透明 、 决 策 将 更 加 高 效 、 保 
障 将 更 加 精准 ， 对 军事 斗争 准备 和 总 体 战略 部 署 的 意义 非 同 几 响 。 大 数 
据 的 运用 能 够 帮助 军队 主动 跟 进 、 积 极 作为 ， 努 力 抢占 军事 斗争 领域 的 
制高点 。 但 是 在 具体 的 战斗 过 程 中 ， 由 于 战况 实时 变化 ， 因 此 需要 诀 策 
者 用 辩证 思维 来 全 面 审 视 ， 切 实 找 准 提升 作战 指挥 效能 的 着 力 点 。 要 清 
醒 地 认识 到 ， 没 有 具体 单位 精准 可 靠 、 实 用 好 用 的 小 数据 作为 战术 文 
撑 ， 大 数据 的 一 切 分 析 预 负 便 是 海 市 古 槛 、 空 中 楼 阁 ， 使 军队 陷入 更 复 
杂 的 “感知 陷阱 ”。 


应 该 说， 当前 中 国 盏 队 的 作战 数据 建设 还 比较 消 后 ， 在 作战 任务 规 
划 、 作 战 指挥 协同 、 战 场 态势 融合 等 核心 数据 系统 的 建设 上 存在 很 多 入 
得 之 处 : 因循守旧 不 想 用 、 数 据 陈旧 不 能 用 、 复 杂 烦 琐 不 会 用 、 担 心 汇 
蜜 不 敢 用 .…… 因 此 ， 在 军事 领域 的 发 展 和 创新 过 程 中 ， 应 当 确立 大 数据 
理念 ， 但 也 要 警惕 泛 大 数据 化 ， 冠 大 数据 之 名 ， 却 无 大 数据 之 实 。 应 从 
具体 单位 的 小 数据 入 手 推 进 大 数据 战略 ， 完 善 顶层 设计 ， 强 化 实践 检 
验 ， 为 精确 指挥 、 精 确 控制 、 精 确保 障 提供 有 力 文 撑 《〈 如 表 9-3 所 
下 














表 9-3 小 数据 在 军事 中 的 应 用 场景 





























应 用 场景 数据 内 容 具体 作用 
通信 、 媒 体 、 与 论 、 卫 星 | 提高 情报 信息 处 理 效率 、 
分 析 提取 重要 情报 
分 析 提取 里 要 情报 | 侦察 等 数据 获取 秘密 情报 
实 兵 对 抗 演习 、 理论 科学 、| 智能 化 寻找 数据 中 的 关 
据 | 丰富 军事 科研 方法 
A 军事 科研 万 法 | 计算 机 模拟 等 数据 联 ， 发 现 未 知 规律 
战略 目标 、 军 事情 报 、 作 | 变革 决策 思维 、 模 式 、 方 
确立 总 休战 略 方 4 
世 必 生生 呈 方 生 | 战 环境 等 综合 数据 法 ,分析 预测 作战 情形 
双方 战略 企图 、 作 战 规律 、 
掌握 敌 方 主 要 特征 进行 针 
制定 具体 军事 战术 | 兵力 配置 、 军 人 行为 等 。 | 等 必 玫 方 二 要 从 人 征 过 和 
对 性 战术 部 署 
数据 
作战 环境 、 部 队 编制 、 武 
小 数据 | | 器 装备 性 能 、 训 练 过 程 和 | 根据 军队 的 实际 需求 和 作 
外 化 训练 模拟 系 4 
优化 训练 模 拟 么 统 | 结果 状态 、 受 训 者 情况 等 | 战 水 平 优化 系统 
数据 
每 个 作战 单元 的 全 部 信 | 以 数据 为 基础 引导 变革 传 
变革 军事 组 织 形态 
Sy 息 、 军 种 、 部 门 等 数据 。 | 统 军事 组 织 形态 


(二 ) 将 小 数据 转化 为 有 效 的 战术 战 法 


【案例 9.3】 在 “火力 一 2016。 山 丹 6” 跨 区 机 动 演习 中 ， 某 旅 
首次 从 渤海 之 滨 转战 西北 葡 壁 。 他 们 根据 以 往 的 演习 经 验 ， 快 速 构 
建 了 严密 的 防空 网 。 但 蓝 方 出 其 不 意 ， 屡 屡 重 创 该 旅 。 演 习 中 ， 一 
位 防空 兵 指 挥 学 院 的 专家 钻 进 指挥 官 所 在 的 雷达 方 舱 ， 一 路 观察 、 
记录 和 测算 ， 对 该 旅 作战 行动 进行 了 深入 分 析 。 专 家 认为 该 旅 虽 掌 
握 了 大 量 的 敌我 数据 ， 但 并 没 能 转化 为 有 效 的 战 木 战 法 。 在 专家 的 
指导 下 ， 该 旅 通过 前 期 采集 的 敌我 数据 ， 分 析 蓝 方 进攻 规律 ， 推 演 


我 方 各 种 作战 方案 的 利 商 得 失 。 通 过 对 作战 数据 的 深度 挖 据 ， 该 旅 
推手 出 最 优 战 术 方 案 。 在 随后 的 对 抗 中 ， 某 旅 转 败 为 胜 。 


【案例 解析 】 

本 案例 中 最 能 够 引 人 深 思 的 关键 要 点 是 : 躺 在 那里 的 数据 是 无 用 
的 。 坚 无 疑问 ， 该 旅 在 机 动 演 习 初 期 已 经 获取 了 作战 所 需要 的 大 量 敌 我 
双方 的 小 数据 ， 按 理 说 应 能 稳 操 胜 券 ， 但 却 屡 层 挫败 。 专 家 的 观点 一 针 
见 血 ， 虽然 收集 到 了 数据 ， 但 是 该 旅 并 没有 把 数据 转换 为 有 效 的 战术 。 
进一步 说 ， 该 旅 的 士兵 拿 到 数据 后 ， 并 没有 建立 其 与 该 旅 的 作战 思维 和 
作战 特点 的 联系 。 也 就 是 说 这 些 “ 有 校 有 角 ” 的 个 性 化 数据 骤然 失去 了 性 
格 特点 ， 变 成 了 刚 在 地 上 的 一 堆 数 字 。 这 并 不 是 说 士兵 缺乏 解读 数据 、 
分 析 数 据 的 方法 ， 而 是 说 小 数据 的 获取 和 分 析 应 该 更 加 突出 个 体 “ 性 
格 ” 的 特殊 性 ， 在 本 案例 中 即 蓝 方 的 进攻 规律 、 我 方 各 种 作战 方案 的 针 
对 性 。 只 有 把 数据 分 析 到 这 一 层次 ， 才 能 够 将 数据 转换 成 有 效 的 战术 方 
和 案 。 事 实 上 ， 现 在 很 多 军事 基地 都 会 建立 数据 研究 中 心 ， 中 心 的 工程 师 
会 采用 分 类 、 聚 类 、 关 联 、 预 测 等 方法 ， 对 数据 进行 深度 挖掘 ， 开 展 最 
佳 干扰 样式 分 析 、 决 集 习 惯 分 析 、 数 据 天 联 分 析 等 。 数 据 挖掘 和 分 析 的 
手段 很 多 ， 但 是 要 进行 科学 的 、 有 血 有 肉 的 分 析 ， 不 能 让 大 量 的 小 数据 
在 分 析 的 过 程 中 失去 其 “个 性 *， 人 否则 就 会 丧失 分 析 的 意义 。 






































一 、 小 数据 与 黑 天 物 





(一 ) 黑 天 和 殷 : 一 个 不 可 预知 的 未 来 ? 








“ 黑 天 鹅 事 件 ” 与 “大 数据 时 代 *”， 可 算是 现下 流行 的 两 个 高 频 词汇 。 

其 实 * 黑 天 鹅 ? 并 不 是 什么 新 词 。 据 说 ，17 世 纪 的 欧洲 人 认为 所 有 的 
天 鹅 都 是 日 色 的 ， 因 为 他 们 从 来 没有 见 过 其 他 颜色 的 天 鹅 。 直 到 18 世 纪 
初 ， 欧 洲 人 远 渡 重 洋 来 到 澳大利亚 ， 一 上 岸 就 惊奇 地 发 现 ， 居 然 有 天 鹅 
是 黑色 的 ! 欧洲 人 一 下 子 蒙 了 ， 因 为 他 们 之 前 那么 坚信 目 己 的 判断 ， 可 
事实 让 欧洲 人 的 信念 土崩瓦解 一 一 史 称 “ 黑 天 物事 件 ”。 

在 人 类 社会 发 展 的 进程 中 ， 对 我 们 的 历史 和 社会 产生 重大 影响 的 ， 
通常 都 不 是 我 们 已 知 或 可 以 预见 的 东西 。“ 黑 天 牲 ” 的 逻辑 是 : 你 不 知道 
的 事 比 你 知道 的 事 更 有 意义 。 股 市 会 突然 朋 盘 ， 美 国 地 产 泡沫 会 引发 谁 
都 没有 预料 到 的 次 贷 危 机 ， 一 场 突如其来 的 大 雪 会 使 大 半 个 中 国 陷入 次 
痪 状态 ， 导 致 上 干 亿 元 的 损失 ..….... 其 实 我 们 每 天 都 被 “ 黑 天 笋 ”环绕 着 。 
即使 你 足 不 出 户 ， 认 识 到 黑 天 鹅 事 件 的 影响 力 并 不 难 。 审 视 一 下 你 自己 
的 生存 环境 ， 数 一 数目 你 出 生 以 来 ， 周 围 发 生 的 重大 事件 、 技 术 变革 和 
发 明 ， 它 们 有 多 少 是 在 你 的 预料 之 中 ? 看 看 你 目 己 的 生活 ， 你 的 职业 选 
择 、 与 爱人 的 狠 逅 、 朋 友 的 背叛 、 暴 富 或 深 倒 、 股 市 大 涨 或 月 盘 .…… 这 
些 事 有 多 少 是 按照 计划 发 生 的 ? 


“ 黑 天 鹅 " 的 出 现 预示 着 ， 世 界 上 永远 存在 不 可 预测 的 重大 和 罕见 事 
件 ， 意 料 之 外 ， 一 旦 出 现 却 有 可 能 改变 一 切 。 人 类 总 是 过 于 相信 自己 的 
经 验 ， 希 望 自己 的 判断 、 决 定 和 计划 能 如 期 而 至 ， 但 是 现实 总 是 让 我 们 
首 手 不 及 。 无 论 是 泰坦 尼克 号 的 沉没 、 第 二 次 世界 大 战 还 是 "9.11” 效 击 
事件 、 美 国 的 次 贷 危 机 、 互 联网 浪潮 等 ， 都 不 是 人 为 能 够 预测 出 来 的 。 




















但 这 些 事件 的 发 生 ， 对 人 类 历史 发 展 的 进程 产生 了 重大 的 影响 。 


黑 天 鹅 真 的 不 可 被 预测 吗 ? 无 论 是 政府 官员 ， 还 是 经 济 学 家 ， 力 至 
普通 的 数据 分 析 员 ， 都 在 苗 匣 思索， 希望 能 够 找到 破解 黑 天 鹅 的 钥匙 。 
但 从 系统 上 来 襄 ， 想 预测 黑 天 鹅 ， 这 本 里 就 是 一 个 “Mission 
Impossible”( 不 可 能 完成 的 任务 〉! 





(二 ) 大 数据 预测 墨 天鹅 的 失灵 








大 数据 ， 尽 管 有 很 多 所 谓 成 功 的 案例 ， 看 起 来 也 的 确 很 高 大 上 ， 但 
其 并 非 预 测 未 来 的 魔幻 工具 。 大 数据 让 预测 成 本 变 得 越 来 越 低 ， 从 而 带 
来 大 量 相 关 性 的 预测 ， 然 而 预测 并 非 事 实 。 随 着 我 们 越 来 越 依 靠 数 据 ， 
我 们 必须 记 住 一 个 事实 ， 束 像 我 们 不 能 为 了 防止 溺水 而 禁 售 冰激凌 一 
样 ， 我 们 不 能 依靠 今天 的 数据 去 预测 明天 的 一 切 。 

2016 年 在 大 数据 领域 最 重要 的 事情 之 一 就 是 预测 美国 总 统 大 选 的 结 
果 。《 纽 约 时 报 》 预 测 ， 希 拉 里 的 获胜 概率 是 85%。《 赫 芬 顿 邮 报 》 的 
预测 模型 则 预测 希拉 里 的 获胜 可 能 性 为 98%。FiveThirtyEight 的 预测 甚 
至 精确 到 小 数 点 ， 它 认为 希拉 里 的 获胜 概率 是 71.4%。 


但 最 后 利用 大 数据 分 析 的 预测 结果 都 错 了 ， 最 终 发 生 了 特 朗 普 当 选 
美国 总 统 的 “ 黑 天 鹅 ” 事 件 。 曾 经 在 2008 年 和 2012 年 两 次 成 功 预测 了 美国 
总 统 大 选 结果 的 数据 大 神 Nate Silver， 今 年 竟然 连续 在 9 个 州 预测 失败 ， 
不 禁令 人 大 跌眼镜 。 

美国 大 选 的 预测 失败 ， 使 大 数据 预测 分 析 领 域 进入 了 一 个 短暂 的 低 
潮 期 ， 甚 至 对 整个 行业 都 产生 了 负面 影响 。 

和 计 普 通 人 的 日 常生 活 中 ， 也 存在 很 多 黑 天 牧 现象。 无论 是 你 的 个 人 
收入 、 知 名 度 ， 还 是 你 的 Google 搜 索 量 、 血 压 、 牙 患 、 股 票 价 格 都 有 可 
能 是 “ 黑 天 物事 件 ”"， 它 们 在 过 去 的 几 百 天 之 内 只 发 生 了 微小 的 变化 ， 并 
旦 具备 一 定 的 趋势 。 你 以 为 事情 会 一 直 这 样 发 展 下 去 ， 就 像 太 阳 每 天 从 









































东边 逢 起、 在 西边 落下 一 样 自 然 ， 但 是 突然 有 一 天 ,“ 侠 ”的 一 声 ， 一 个 
过 去 从 未 有 过 的 巨大 变化 发 生 了 ! 比如 , “乐天 玛 特 ”超市 在 华 门店 突然 
关闭 近 九 成 。 

为 什么 大 数据 预测 黑 天 牲 同 样 也 会 失灵 呢 ? 举 个 简单 的 例子 ， 传 统 
的 大 数据 分 析 ， 像 R 语 言 统 计 分 析 软 件 中 ， 默 认 设 定 置 信 空 间 是 95%。 
也 就 是 说 ，5% 的 小 概率 事件 是 不 考虑 的 。 而 实际 中 ， 恰 恰 是 这 5%， 就 
出 现 了 黑 天 筷 。 

至 于 目前 流行 的 各 种 大 数据 核心 算法 ， 都 是 基于 统计 分 析 、 聚 类 分 
析 ， 以 及 各 种 各 样 、 五 花 八 门 的 分 析 模 型 。 这 些 分 析 模 型 与 算法 ， 大 多 
基于 传统 的 人 工 知 能 研究 ， 什 么 吸 木 乌 算 法 、 主 火 虫 算法 、 蚁 和 群 算 法 ， 
大 部 分 都 是 经 验 性 、 实 验 模型 ， 缺 乏 系统 的 理论 文 持 。 这 些 算 法 ， 看 名 
字 束 知道 ， 玄 而 又 立 ， 不 知 所 云 。 关 键 的 是 ， 这 些 算法 都 是 受 限 模型 ， 
古 基 于 茶 些 特定 条 件 下 的 模型 ， 无 法 通用 。 

所 以 要 想 通 过 大 数据 去 准确 预测 黑 天 鹅 事 件 ， 基 本 上 也 是 不 徘 谱 
的 。 











(三 ) 黑 天 秽 并 非 无 迹 可 导 








黑 天 碑 的 光临 从 表面 上 看 ， 确 实 不 可 捉摸 ， 但 世间 万 事 万 物 都 有 其 
规律 可 寻 ， 是 有 因果 关系 的 ， 只 是 人 的 认识 能 力 有 限 ， 一 些 事物 的 变化 
规律 未 被 人 类 掌握 发 现 ， 因 而 不 清楚 事物 变化 的 因由 ， 故 而 感到 事物 变 
化 无 常 。 但 如 果 我 们 回 过 头 来 再 看 黑 天 物事 件 ， 每 一 次 的 黑 天 物事 件 ， 
又 似乎 部 有 其 道理 。 

















(1) 只 要 是 黑 天 儿 ， 发 生 之 前 总 会 暴露 蛛丝马迹 


黑 天 鹅 事 件 的 爆发 ， 往 往 被 冠 以 “意外 ”的 帽子 ， 可 是 黑 天 鹅 事件 真 











的 意外 吗 ? 并 非 如 此 。 从 现实 来 看 ， 我 们 总 能 在 黑 天 物事 件 友 生 后 找 出 
合理 的 解释 ， 这 束 说 明 黑 天 鹅 的 爆 友 一 定 是 有 原因 的 ， 只 是 在 当时 的 情 
况 下 我 们 并 没有 将 这 些 原因 与 黑 天 鹅 事件 联系 在 一 起 ， 这 也 恰恰 说 明 黑 
天 鹅 是 具有 潜伏 期 的 。 

2017 年 ， 两 起 惨痛 事件 永远 地 留 在 了 许多 美国 人 的 记忆 中 : 一 起 是 
美国 现代 史上 伤亡 最 惨重 的 枪击 案 ， 为 一 起 是 “9.11” 事 件 以 来 发 生 在 纽 
约 最 严重 的 恐怖 袭击 。 

2017 年 10 月 1 日 晚 ， 白 人 枪手 由 多 死 在 赌 城 拉 斯 维 加 斯 在 一 场 露天 
音乐 会 现场 开 枪 扫射 11 分 钟 ， 当 场 竺 走 59 条 人 命 ， 另 有 500 多 人 受伤 。 
同年 10 月 31 日 下 午 ， 马 效 别 死 斯 坦 籍 男子 赛 宇 洛 : 赛 波 夫 要 车 在 纽约 竖 
哈 顿 楷 忙 的 西 侧 快速 路 上 撞击 行人 和 骑 车 人 ，8 人 命 疼 车轮 之 下 。 


人 们 注意 到 ，“9.11” 之 后 的 16 年 内 ， 有 组 织 、 大 规模 的 恐怖 袭击 在 
美国 大 为 减少 ， 但 由 个 人 策划 实施 的 “ 独 狼 式 "恐怖 袭击 威胁 则 日 渐 上 
升 。 恐 怖 组 织 通过 社交 媒体 进行 宣传 ， 受 串 惑 的 个 人 利用 生活 中 的 常见 
器 材 发 动 袭 击 ， 令 政府 部 门 防不胜防 。 纽 约 市 警察 局 负责 情报 和 反 铠 的 
副 局 长 约翰 - 米 勒 坦 陈 ， 防 范 独 狼 式 袭击 “很 难 ， 且 以 后 会 更 难 。 ”他 指 
出 ， 过 去 恐怖 分 子 策划 袭击 的 过 程 中 会 同 组 织 联络 ， 反 铠 实际 是 情报 
战 ， 但 现在 威胁 来 自 个 人 ， 除 非 能 “ 钻 进 他 们 的 脑子 里 *， 否 则 几乎 不 可 
能 预先 掌握 悉 歼 的 情报 。 

但 是 细 细 分 析 ， 纽 约 上 述 两 起 恐 袭 事件 的 嫌犯 都 是 看 到 “伊斯兰 
国 "在 社交 媒体 上 的 宣传 后 萌生 作案 念头 的 ， 与 此 同时 ， 枪 支 暴力 事件 
在 美国 2017 年 里 有 先例 。2017 年 1 月 6 日 ， 佛 罗 里 达州 东南 沿海 的 劳 德 代 
尔 堡 机 场 检 击 案 致死 8 伤 ， 同 年 6 月 14 日 ， 距 美国 首都 华盛顿 仅 约 7 英里 
( 约 11.2 公 里 ) 的 一 处 棒球 场 发 生 枪击 事件 ， 包 括 国会 众议院 共和 党 党 
鞭 史 蒂 夫 .斯 卡 利 斯 在 内 4 人 受伤 ， 拉 斯 维 加 斯 枪击 案 1 个 月 后 ， 德 克 萨 
斯 一 座 教堂 内 又 有 26 人 命 形 枪 口 之 下 。 这 说 明 虽 然 独 狼 式 袭击 的 情报 很 
难 被 人 掌握 到 ， 但 实际 上 美国 的 移民 政策 和 枪支 管理 体系 早已 存在 漏 
洞 ， 其 与 黑 天 急事 件 的 爆发 不 无 关系 。 












































其 他 的 黑 天 物事 件 亦 是 如 此 ， 能 够 事后 被 解释 的 事情 ， 事 前 一 定 会 
有 原因 ， 就 看 我 们 谁 能 够 识别 出 这 些 因 素 ， 并 且 有 能 力 将 这 些 因素 与 黑 
天 鹅 事件 联系 在 一 起 ， 在 潜伏 期 内 提前 做 好 应 对 措施 。 

















(2) 黑 天 筷 必 定 会 有 一 段 能 量 爆 必 前 的 积聚 期 


黑 天 和 切除 了 上 共有 潜伏 期 外 ， 它 还 往往 存在 一 个 能 量 爆 及 前 的 积聚 
期 ， 能 量 积 昧 的 时 间 越 长 ， 事 件 爆发 后 的 影 啊 力 越 明 显 。 

2016 年 6 月 ， 和 之 前 民意 调查 和 博彩 公司 的 预计 不 同 ， 英 国 居然 其 
的 “ 脱 欧 ”成 功 了 ! 这 一 结果 震惊 了 整个 世界 。 


“赌博 市 场 被 误解 交工 党 失去 了 工人 阶级 的 文 持 关 民意 调查 被 误 
解 ”“* 伦 敦 错 了 ”“ 英 国政 府 错 了 ”代沟 冲突 ”...... 我 们 昕 到 了 许多 为 这 个 结 
果 的 辩解 的 声音 。 但 仔细 想 一 想 ， 英 国 脱 欧 的 结果 又 是 必然 的 ， 因 为 脱 
欧 的 情绪 早已 在 大 街 小 埠 影 响 着 每 个 英国 公民 ， 并 且 这 种 情绪 的 影响 已 
经 悄然 地 芝 延 了 很 长 一 段 时 间 ， 来 看 一 看 这 些 早已 传 遍 的 政治 讽刺 广告 
就 知道 了 。 

G) 卡 梅 伦 。 把 英国 猪肉 放 在 又 子 上 。 许 多 人 大 概 对 英 剧 《 黑 镜 》 中 
首相 与 猪 交 嫌 的 情节 记忆 犹 新 。 后 来 人 们 发 现 ， 这 种 极端 的 政治 讽刺 艺 
术 居 然 有 可 能 是 真 的 ; 一 位 与 卡 梅 伦 政 见 不 合 的 保守 党 成 员 ， 写 了 一 本 
关于 这 位 首相 的 传记 ， 爆 出 了 卡 梅 伦 年 轻 时 候 的 “ 黑 历史 ”一 一 他 在 牛津 
上 学 的 时 候 居然 真 的 和 一 头 死 猪 发 生 了 些 “ 不 可 描述 ”的 事情 。 无 论 这 件 
事情 是 不 是 真 的 ， 恐 怕 卡 梅 伦 和 猪 的 梗 都 要 被 玩 上 好 多 年 。 在 这 个 被 亚 
搞 的 英国 农场 广告 里 ， 卡 梅 伦 一 脸 陶醉 ， 劳 边 是 广告 语 : 把 英国 猪肉 放 
人 

@ 反 人 类 牌 。 是 什么 在 2015 年 杀 死 了 最 多 的 无 境 儿 童 ? 答案 是 名 
为 “ 反 人 类 有 牌 ”的 桌 游 广告 。 在 这 个 恶搞 广告 中 ， 德 高 广告 位 出 现 了 几 张 
反 人 类 牌 ， 黑 色 的 卡片 提出 一 个 问题 : “是 什么 在 2015 年 杀 死 了 最 多 的 
无 就 儿童 ? ”白色 卡片 上 有 三 个 选项 :“ 不 干净 的 饮用 水 关 叙 利 亚 难 






































民 ”“ 世 界 领导 人 投下 的 炸弹 ”"。 哪 一 个 才 是 最 棒 的 答案 ? 看 看 广告 牌 前 
走 过 的 一 个 戴 着 头巾 的 物 斯 林 妇 女 就 知道 了 。 这 个 创意 就 是 要 把 政治 正 
确 扔 到 一 边 ， 发 泄 对 穆斯林 移民 的 不 满 。 


(英国 人 民 再 也 不 能 和 这 些 xx 为 伍 了 。 近 年 来 英国 民众 一 直 对 政府 
曾 减 福利 、 外 来 移民 涌 入 造成 的 就 业 浆 位 减少 而 不 满 。 在 这 张 恶 搞 广 告 
海报 中 ,， “英国 人 民 再 也 不 能 ......” 后 面 有 一 个 醒目 的 单词 ， 和 在 一 看 
是 “Cuts”， 意 思 是 英国 人 民 再 也 无 法 忍受 福利 和 劳动 岗位 削减 了 。 但 单 
词 被 括 掉 的 一 个 字母 却 引发 了 联想 ，“Cunts” 则 是 一 句 脏 话 ， 意 思 是 英 
国人 民 再 也 不 能 和 这 些 xx 为 伍 了 ， 人 至 于 这 号 的 是 政府 还 是 外 来 移民 ， 就 
见仁见智 了 。 

(竞争 对 手 和 猪 之 间 不 得 不 说 的 那些 事 。 在 这 个 模仿 MasterCard 的 
广告 中 ， 依 次 列 出 了 不 少 产品 的 价格 ， 如 夹 元 30 喘 镑 、 和 衬衫 15 喘 镑 。 而 
最 后 一 项 又 让 卡 梅 伦 “ 中 ”7 了 无 数 “ 枪 ”一 一 “得 知 况 争 对 手 和 猪 之 间 的 及 
脏 丑 闻 值 多 少 钱 ”? 答案 是 “无 价 ”。 

@@ 英 国 独立 党 。 剑 指 唐宁 街 10 号 ， 英 国 独立 党 是 英国 的 极 右翼 政 
党 ， 坚 持 民 族 保守 主义 ， 一 向 主张 英国 退出 欧盟 。 在 这 则 广告 中 ， 只 有 
首相 官 革 唐宁 街 10 写 的 大 门 ， 而 这 也 揭示 出 他 们 想 要 获取 政权 的 野心 。 

6)“ 碎 裂 时 间 到 ”。 这 则 暮 片 广告 赤裸 裸 地 揭示 出 英国 的 分 裂 : 英国 
版 图 形状 的 薯 片 正在 雁 裂 ， 莫 格 兰 和 苏格兰 已 经 分 开 ， 北 爱尔兰 也 不 知 
去 癌 。 广 告 语 *“ 大 嚼 时 间 到 ?也 能 被 理解 成 * 碎 裂 时 间 到 ”。 

由 此 可 见 ， 自 2013 年 初 ， 英 国 首 相 卡 梅 伦 首 次 提出 脱 欧 公投 这 个 说 
法 ， 英 国 想 离 开 欧 盟 的 心 就 一 直 维 春 欲 动 。 





























(3) 在 事件 烃 友 前 人 们 往往 假 潜 黑 天 筷 不 存在 


人 类 的 本 性 不 习惯 黑 天 物 现 象 ， 哪 怕 是 黑 天 物事 件 即将 炮 及 ， 我 们 
也 往往 假装 黑 天 鹅 现 象 是 不 存在 的 。 











2016 年 的 A 股市 场 ， 元 旦 后 首 个 交易 日 熔断 机 制 华 丽 登 场 ， 可 惜 市 
场 用 脚 投 票 ，4 天 内 炊 断 了 4 次 ， 蒸 及 了 6 万 亿 元 市 值 ， 股 民 人 均 亏 损 16 
万 元 。 炊 断 机 制 就 像 古 给 市 场 加 了 一 把 雨 爹 。 虽 然 不 能 因为 第 一 天 打 侈 
就 碰 上 了 大 雨 ， 就 说 雨 是 被 伞 引 过 来 的 。 但 反 过 来 ， 也 不 能 因为 有 了 两 
人 金 ， 束 认为 不 会 再 下 雨 了 。 


有 分 析 师 认 为 ， 当 时 国内 的 情况 是 : 首先 是 离 昱 人 民 币 持续 骏 跌 ， 
其 次 是 对 中 国 经 济 增长 的 担忧 ， 以 及 大 股东 减 持 、 限 售 股 解禁 等 造成 的 
资金 面 压 力 。 在 这 种 情况 下 ， 即 便 没 有 熔断 机 制 ，A 股 又 跌 的 概率 依然 
存在 。 一 些 私 鞭 在 早 些 时 间 就 已 经 嗅 到 了 风险 的 味道 ， 逃 命 为 上 。 而 多 
数 股民 却 在 感叹 ， 原 本 早已 做 好 了 逃跑 的 准备 ， 却 因为 对 熔点 机 制 抱 有 
一 点 点 幻想 ， 连 逃命 的 机 会 部 失去 了。 这 难道 不 是 对 黑 天 鹅 赤 裸 裸 的 无 
视 吗 ? 


黑 天 鹅 ， 有 了 时 就 像 真 理 掌握 在 少数 人 手 里 一 样 ， 它 往往 会 招致 反对 
或 不 被 接受 ， 然 后 成 为 共识 。 
































(4) 墨 天 斤 也 可 衫 称 为 有 预 诗 的 绝对 及 生 事件 


2014 年 3 月 8 日 ， 载 有 239 人 的 马 航 MH370 航 班 在 从 马来西亚 吉隆 坡 
飞 往 中 国 北 京 的 途中 失 联 ，MH370 的 机 长 扎 哈 里 己 被 锁定 为 最 大 “嫌疑 
人 2 


在 失 联 事件 发 生前 ， 扎 哈里 在 他 个 人 的 Facebook 上 贴 过 他 为 反对 党 
大 选 帮忙 的 照片 ， 这 并 非 秘密 。 在 失 联 事件 发 生前 ， 纳 西 尔 以 及 扎 哈 里 
的 不 少 同学 、 友 人 就 已 得 知 扎 哈 里 在 2013 年 加 入 了 反对 和 尝 人 民 公 正 觉 
(People’s Justice Party) 。 而 在 扎 哈 里 痛 兰 地 跟 一 名 有 夫 之 妇 关 系 破 裂 
后 ， 他 癌 自 己 的 妻子 发 了 一 条 有 有关“ 私事” 的 短信 。 这 一 切 发 生 在 马 航 失 
联 前 两 天 。 机 长 扎 哈 里 与 妻子 Pardi 虽 然 同 住 在 一 个 屋檐 下 ， 但 他 们 早已 
感情 破裂 。 


机 长 扎 哈 里 曾 “ 秀 ?过 上 自家 搭建 的 电脑 模拟 平 侣 ， 可 以 看 到 三 个 用 于 

















展示 视 景 的 大 屏幕 、 三 块 分 别 模 拟 要 驶 挫 前 、 中 央 、 上 操控 面板 的 触 控 
屏 和 整套 飞行 模拟 设备 。 这 不 茜 令 人 生 疑 一 一 这 是 真 的 太 热 爱 飞行 ， 还 
是 要 在 家 里 练习 一 些 不 便 在 公司 专业 模拟 器 上 操作 的 特殊 科目 ? 2016 年 
8 月 ， 马 来 西亚 官方 痛 次 承认 ， 马 来 西亚 航空 公司 MH370 航 班 的 机 长 扎 
哈里 : 艾 蛤 迈 德 : 沙 阿 兽 在 自己 家 中 模拟 飞行 过 与 这 架 客 机 疑似 坠 入 南 印 
度 洋 相 似 的 路 线 。 

如 图 10-1 所 示 ， 这 是 机 长 平时 的 演练 路 线 与 专家 推测 的 现实 路 线 对 
比 。 和 斜 线 为 机 长 的 练习 路 线 ， 直 线 是 此 前 推测 的 MH370 失 联 后 的 飞行 路 
线 。 廊 岂 十 搜索 客机 残骸 的 区 域 > 
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图 10-1 马 航 MH370 失 联 后 的 飞行 路 线 预测 


马 航 MH370 客 机 或 许 是 一 次 有 预谋 的 “ 独 狼 行动 ”为 了 挑战 人 类 的 
智 芒 和 搜救 能 力 。 而 随 大 MH370 更 多 残 散 被 友 现 ， 证 气 链 更 趋 完整 ， 最 
终 真相 将 渐 出 水 面 。 








(四 ) 应 对 黑 天 鹅 事 件 可 以 使 用 小 数据 


我 们 知道 小 概率 事件 在 一 次 试验 当中 几乎 是 不 可 能 发 生 的 ， 因 此 人 
们 会 用 两 种 不 同 的 态度 对 符 小 概率 事件 : 一 种 是 对 符 小 概率 事件 不 周 不 
问 ， 另 一 种 则 是 更 愿意 承认 它 的 发 生 。 那 么 哪 种 方式 是 面 对 小 概率 事件 
的 正确 处 理 方式 呢 ? 我 的 看 法 是 : 应 对 小 概率 事件 可 以 使 用 小 数据 。 








(1) 要 关注 一 些 有 明确 定义 的 不 确定 性 现象 


小 概率 事件 并 不 是 不 可 能 发 生 的 事件 。 至 于 小 概率 事件 是 否 可 以 忽 
格 ， 这 就 要 看 具体 的 情况 了 。 比 如 ， 任 何 小 概率 事件 对 于 航运 来 说 都 可 
能 是 致命 的 ， 所 以 这 种 情况 下 小 概率 事件 绝 不 能 忽略 。 再 如 ， 有 些 彩 民 
买 彩票 只 盼 痢 中 头 奖 ， 我 认为 这 是 可 以 忽略 的 一 种 小 概率 事件 。 我 们 要 
关注 一 些 特 定 的 黑 天 匆 现 象 ， 找 出 有 明确 定义 的 小 数据 ， 而 不 是 去 关注 
那些 我 们 根本 不 会 想到 的 或 者 我 们 根本 车 驭 不 了 的 事情 。 

(2) 远离 大 数据 ， 避 免 “ 过 滤 性 错误 ” 


投资 人 曾 星 智 曾 提 出 :; 现实 世界 是 一 个 推 潜 预测 ， 被 统计 、 归 纳 和 
经 验 所 统治 的 世界 。 一 个 被 确定 性 统治 的 世界 ， 是 因为 人 们 认为 那 才 是 
权威 和 真理 。 因 此 ， 只 要 我 们 陷入 其 中 就 容易 掉 入 “ 黑 天 狼 ” 的 陷阱 。 
此 要 想 做 一 个 真正 完全 地 接受 未 来 充满 了 不 确定 性 、 市 场 不 可 预测 的 
人 ， 就 必须 远离 大 数据 、 远 离 经 验 ， 而 且 拒 绝 与 持 有 确定 性 和 可 预测 观 
点 的 人 交流 ， 拒 绝 那 些 依然 被 统计 法 和 归纳 法 统治 的 头脑 ， 以 避免 
犯 * 过 滤 性 错误 ”。 























(3) 所 有 的 因果 关系 部 是 伪 汪 的 ， 必 须 用 小 数据 
重新 检验 


真理 不 是 一 成 不 变 的 。 就 像 *“ 两 条 直线 ， 不 平行 ， 就 相交 ”这 个 看 似 





无 懈 可 击 的 真理 ， 只 存在 于 立体 几何 出 现 之 前 。 有 时 候 ， 科 学 家 经 币 提 
出 的 、 历 史学 家 断定 的 因果 关系 ， 也 并 非 就 是 真理 。 人 类 是 一 个 喜欢 寻 
找 原因 的 动物 ， 习 惯 于 认为 一 切 事情 部 有 确定 的 原因 ， 并 且 把 最 明显 的 
那 一 个 当 作 最 终 解释 。 但 实际 上 可 能 只 是 我 们 为 了 把 两 件 事 联系 起 来 而 
强加 的 馆 辑 ， 我 们 必须 接受 我 们 熟 番 的 “原因 ”的 模糊 性 ， 不 省 这 让 我 们 
兽 经 感到 它 是 多 么 可 徘 。 所 以 请 对 “因果 ”时 刻 保持 “怀疑 * 的 态度 ， 并 小 
心 对 每 它 ， 坚 持 用 小 数据 去 不 断 检验 它 ， 和 直到 没有 任何 小 概率 事件 发 











(4) 每 一 次 黑 天 鹅 事 件 ， 都 是 一 次 小 数据 的 积累 


在 股市 中 经 癌 听 到 有 人 这 样 安奈 我 们 :“ 黑 天 鹅 的 意外 事件 是 灾 
难 ， 但 也 是 一 次 干 载 难 着 的 好 机 会 。” 其 实 对 于 喜欢 数据 分 析 的 我 们 ， 
黑 天 鹅 的 出 现 ， 也 让 我 们 采集 到 了 一 种 全 新 的 数据 ， 并 且 使 我 们 对 自己 
的 经 验 模型 有 了 重新 的 认识 。 而 随 着 越 来 越 多 的 黑 天 鹅 出 现 ， 我 们 所 积 
索 的 数据 也 将 成 为 一 种 新 的 经 验 ， 帮 助 我 们 识别 大 数据 陷阱 ， 从 而 提升 
数据 应 用 水 平 ， 以 应 对 未 来 管理 失控 等 问题 。 











二 、 小 数据 与 灰 犀牛 


(一 ) 灰 犀 牛 : 一 个 更 可 怕 的 大 概率 危机 


“ 黑 天 鹅 * 代 表 着 不 可 预测 的 重大 稀有 事件 ， 但 比 黑 天 忽 更 危险 的 ， 
是 “ 灰 犀牛 "。 


“ 灰 犀 牛 理论 ”由 米 歇 尔 : 泥 克 (Michele Wucker) 提出 ， 指 的 是 在 一 
系列 警示 信号 和 迹象 之 后 出 现 的 大 概率 事件 。 该 理论 认为 ， 灰 犀牛 事件 
之 所 以 会 产生 巨大 的 破坏 性 ， 源 目 人 们 面 对 “* 灰 犀牛 ”时 五 个 阶段 的 反 
应 。 

第 一 阶段 是 本 能 的 否定 ; 第 二 阶段 是 得 过 且 过 ; 第 三 阶段 是 尝试 去 
回应 ; 第 四 阶段 是 惊 铝 ， 第 五 阶段 是 朋 尝 。 

了 台 好 像 灰 犀牛 体形 笨重 、 反 应 迟缓 ， 你 能 看 见 它 在 远 处 ， 却 旦 不在 
意 ， 一 旦 它 向 你 狂奔 而 来 ， 定 会 让 你 镶 不 及 防 ， 直 接 被 它 扑 倒 在 地 。 它 
并 不 特别 神秘 ， 却 更 危险 。 


“ 灰 犀 牛 理论 ?描述 的 是 决策 者 当前 所 面临 的 困境 : 即使 拥有 海量 信 
恩 ， 仍 然 有 很 大 可 能 做 出 错误 的 决策 ， 其 至 海量 信息 本 里 会 给 决策 带 来 
更 多 的 不 确定 性 。 


世界 所 面临 的 巨大 困难 中 有 很 多 都 是 灰 犀 牛 性 质 的 问题 。 不 可 持续 
的 国家 全 务 ， 经 济 增长 乏力 ， 丈 动力 市 场 的 巨大 变 昔 ， 诸 如 此 类 ， 极 大 
地 增加 了 相关 国家 遭受 新 一 轮 经 济 危 机 的 可 能 性 。 日 荔 加 剧 的 收入 分 配 
不 平等 问题 将 会 进一步 导致 社会 和 政治 动荡 不 安 、 零 星 的 骚乱 、 政 权 的 
更 达 和 经 济 及 展 的 停 沛 。 





























而 在 具体 生活 中 ， 这 样 的 例子 数不胜数 。 比 如 ， 人 们 明知 道 吸 烟 有 
害 健康 ， 但 还 是 会 去 抽烟 ;， 和 人们 都 知道 醉酒 驾车 危险 ， 但 还 是 有 人 会 去 
沉 幸 冒险 。 再 如 ， 当 下 我 们 都 知道 人 工 智 能 将 会 对 我 们 的 社会 产生 重大 
挑战 ， 可 是 大 多 数 人 基本 都 没 把 这 当 回 事 ， 或 一 直 认 为 挑战 还 有 很 久 才 
会 到 来 。 切 换 到 一 个 更 大 的 视角 ， 筋 狂 、 气 候 变 暖 、 饮 用 水 短缺 等 都 是 
与 我 们 每 个 人 忍 思 相关 的 灰 犀 牛 事件 ， 它 们 早已 出 现 趋势 ， 然 而 整个 社 
会 却 依 然 会 选择 逃避 心态 、 心 存 伐 立 。 


当 人 们 看 到 “ 灰 犀 牛 ” 远 远 奔 过 来 的 时 候 ， 并 不 能 判断 它 是 否 会 中 途 
改变 方向 ， 以 及 它 完 竟 会 给 自己 带 来 多 大 的 伤害 。 

为 什么 会 出 现 这 种 情况 呢 ? 

第 一 ， 以 西蒙 为 代表 的 决 集 理论 学 派 认 为 ， 由 于 人 类 生理 和 心理 固 
有 的 局 限 所 造成 的 有 限 理 性 ， 非 常 容 易 造成 选择 性 注意 和 价值 偏见 ， 反 
过 来 义 限制 注意 广度 和 知识 信息 的 获得 。 这 就 是 我 们 经 第 说 的 ， 人们 往 
往 接 受 “ 愿 意 接受 的 信息 ”。 人 们 这 种 认识 缺陷 是 天 然 存在 的 ， 束 算 再 有 
海量 的 数据 ， 人 们 往往 还 是 “自动 ”接受 那些 “愿意 接受 的 数据 ”。 

第 二 ， 大 数据 分 析 的 前 提 ， 古 我 们 认为 足够 的 海量 数据 能 够 蜗 度 拟 
合 事实 本 映 ， 并 且 这 种 拟 合 能 对 事物 运行 趋势 作出 准确 的 判断 。 但 其 实 
很 多 难以 量化 和 评估 的 因素 ， 如 “创新 “公众 情绪 ”往往 能 极 大 地 影响 发 
展 趋 势 。 这 在 很 大 程度 上 削弱 了 大 数据 的 预测 准确 性 。 

第 三 ， 对 决 琐 者 而 言 ， 做 出 决策 时 的 稀有 资源 不 是 信息 ， 而 是 处 理 
言 轧 的 能 力 ， 数 据 噪 声 反而 加 大 信息 处 理 的 难度 。 美 国 耗费 巨 资 采取 大 
规模 监控 ,但 收效 甚 微 。 如 同 斯 话 登 在 接受 采访 时 所 说 :“ 大 规模 监控 
的 问题 在 于 ， 我 们 在 癌 不 理解 的 情报 内 容 中 添加 了 更 多 的 内 容 ， 如 美国 
公民 日 常生 活 的 信息 。 这 加 剧 了 我 们 的 信息 处 理 难度 。” 















































(二 ) 灰 犀 牛 不 需要 预 训 


与 黑 天 鹅 的 小 概率 事件 相反 ， 我 认为 灰 犀牛 现象 并 不 需要 预测 ， 因 
为 它 清 晰 地 摆 在 那里 ， 并 且 众 多 危机 都 有 明显 的 先兆 ， 只 不 过 这 些 先兆 
都 没有 引起 人 们 足够 的 重视 。 例 如 ，2008 年 美国 房地产 泡沫 集中 爆发 以 
及 在 此 之 前 的 庄 多 泡沫 破裂 ; 飓风 卡特 里 娜 和 又 迪 以 及 其 他 日 然 灾害 后 
的 毁灭 性 余波 ; 丰 履 了 传统 媒体 的 现实 数码 技术 ; 大 桥 南 塌 和 摇 摇 欲 附 
的 城市 基础 设施 ， 苏 联 的 迅速 衰败 和 中 东 地 区 的 混乱 ， 在 事前 均 出 现 过 
明显 的 迹象 。 


同时 ， 错 误 的 思想 动机 和 对 个 人 利益 的 误 判 会 极 大 地 助长 我 们 抗拒 
行动 的 自然 天 性 。 例 如 ， 米 软 尔 : 涯 元 (Michele Wucker) 列举 的 几 个 例 
子 : 银行 家 明明 已 经 了 解 次 贷 危 机 的 风险 ， 却 仍然 不 上 表 从 充满 风险 的 投 
资中 收 手 ;， 地 方 官员 明明 知道 桥梁 的 状况 已 经 非常 糟 粹 ， 但 却 一 再 推 壕 
维修 时 间 ; 工头 明明 知道 广 房 的 墙 面 上 出 现 了 巨大 的 裂 乡 ， 但 仍然 一 如 
既往 地 专注 于 手 上 的 生意 ， 直 到 整个 广 房 彻 底 抽 声 ; 监管 和 执行 层面 的 
人 明明 知道 出 纳 、 会 计 等 的 行为 可 疑 ， 但 仍然 拒绝 接受 各 种 警报 的 提 
示 ; 工程 师 明 明知 道 一 个 劣质 粗糙 的 价值 57 美 分 的 燃 火 器 是 多 么 的 危 
给， 但 仍然 不 去 更 换 ， 由 于 企业 的 CEO 〈 首 席 执 行 官 ) 对 于 颠 履 性 新 技 
术 的 出 现 没 有 做 出 任何 有 效应 对 ， 在 行业 中 本 来 处 于 领先 地 位 的 企业 被 
新 的 技术 和 公司 取代 后 ， 只 能 在 市 场 中 勉强 挣扎 维持 ;企业 或 者 国家 的 
元 老 ， 明 明知 道 自 己 时 日 无 多 ， 是 时 候 该 让 青年 一 代 接 手 了 ， 但 却 宁愿 
将 企业 或 国家 引 辐 毁灭 ， 也 不 愿意 放 开 手中 的 权力 。 


现实 生活 中 ， 前 段 时间 看 到 某 企业 管理 人 员 A 君 跳槽 到 了 深圳 一 家 
企业 ， 联 系 后 得 知 ， 他 是 因为 家 性 经 济 原因 ， 需 要 更 高 收入 ， 不 得 不 到 
另外 一 个 城市 。 深 入 了 解 后 才 知 道 ， 是 他 的 太太 委 患 了 乳腺 恶性 肿瘤 ， 
需要 持续 治疗 康复 ， 没 有 办 法 工作 ，A 君 需要 承担 更 重 的 经 济 压力 。A 
君 感悟 道 ， 其 实 以 前 有 几 次 机 会 为 家 人 投保 重 疾 保险 ， 而 且 有 同事 锥 患 
乳腺 癌 、 上 肺癌 的 ， 但 还 是 觉得 患 重 疾 的 概率 很 低 ， 也 不 至 于 发 生 在 自己 
和 家 人 的 映 上 ， 毕 葛 才 干 分 之 几 的 概率 ， 所 以 没有 着 急 买 。 当 时 认为 只 
有 意外 险 才 能 够 起 到 很 好 的 保险 作用 ， 上 所 以 只 投 你 了 高 额 的 意外 险 而 忽 
略 了 重大 疾病 保险 ， 现 在 真是 后 悔 。 



































A 寿 面临 的 融 是 典型 的 “ 灰 犀 牛 ” 事 件 ， 重 大 疾病 已 经 是 大 概率 事 
件 ， 且 很 多 人 已 丝 有 了 这 种 认识 ， 只 是 抱 有 侥 羊 心理、 拖延 的 习惯 而 一 
直 回 避 、 拒 绝 承 认 ， 然 后 就 可 能 变 成 了 无 法 挽回 的 结 














(三 ) 大 数据 是 灰 犀 牛 的 非 魁 栅 衣 


决策 ， 是 管理 的 中 心 ， 决 策 者 在 进行 决策 时 必须 拥有 很 多 信息 。 基 
于 这 一 前 担 ， 很 多 人 认为 大 数据 将 大 大 提高 决策 的 效率 和 效果 。 大 数 
气 “ 所 见 即 所 得 ”的 巨大 优势 将 推动 决策 简单 化 ， 甚 至 目 动 化 。 然 而 事实 
很 可 能 恰恰 相反 ， 大 数据 市 给 决策 者 的 是 空前 的 挑战 。 大 数据 本 里 并 不 
能 带 来 好 的 决策 ， 如 末 使 用 不 当 反 而 会 市 来 更 大 的 决 集 危 机 ， 并 成 为 导 
致 灰 犀 牛 现象 的 罪魁 祸 首 。 


根据 公开 媒体 的 报道 ，“9.11” 事 友 前 美国 情报 部 门 残 已 获取 了 足够 
必要 的 信息 ， 中 情 局 其 至 掌握 了 私 怖 分 子 的 通话 记录 和 个 人 信息 。 但 在 
海量 的 机 密 信 息 中 ， 决 策 者 没 能 理解 其 中 的 关联 ， 尤 其 无 法 对 嫌疑 犯 的 
行动 做 出 判断 ， 从 而 无 法 做 出 正确 的 决策 。 


而 在 信息 时 代 ， 市 场 是 变化 无 第 并 且 不 可 预期 的 ， 决 策 者 的 创造 性 
思维 也 并 不 能 通过 大 数据 得 以 体现 ， 相 反 ， 大 数据 在 压制 创新 。 


最 显而易见 的 例子 ， 就 是 手机 广 商 摩托 罗拉 和 诺基亚 。 在 21 世 纪 
初 ， 摩 托 罗拉 V3 系 列 手 机 大 获 成 功 ， 号 称 销售 达 1 亿 部 ， 一 度 傲视 群 
雄 。 摩 托 罗 拉 从 大 量 的 数据 和 反馈 中 得 到 了 利好 消息 ， 认 为 只 需 在 V3 
机 型 上 下 功夫 。 但 是 千篇一律 、 缺 乏 变化 的 东西 只 会 让 消费 者 厌倦 。 诺 
基 亚 在 2007~2010 年 的 业绩 可 谓 是 如 日 中 天 ， 塞 班 系统 可 以 说 是 一 统 天 
下 ， 无 论 数据 上 还 是 场面 上 ， 都 大 占 上 风 。 但 问题 是 ， 一 般 消 费 者 其 实 
对 自己 的 需求 也 不 太 清楚 ， 只 有 当真 的 产品 出 来 时 ， 他 们 才 会 发 出 惊讶 
的 赞叹 ， 转 头 就 把 旧 产 品 扔 在 一 边 。 不 久之 后 ， 塞 班 就 被 :OS 苹果 公 
司 开 发 的 移动 操作 系统 ) 和 安 卓 这 些 “ 新 势力 ” 攻 城 略 地 ， 打 得 误 不 成 
军 。 如 今 ， 摩 托 罗 拉 和 诺基亚 已 经 分 别 被 谷歌 和 微软 收购 。 












































(四 ) 尝试 用 小 数据 去 挑战 灰 犀牛 





炭 避 灰 犀 牛 的 侵扰 ， 方 法 有 很 多 种 : 可 以 是 直面 危机 ， 化 危机 为 机 
遇 ， 也 可 以 是 避免 损失 ， 或 者 至 少 是 减少 损失 。 适 时 的 预防 可 以 使 局 面 
发 生 戏 剧 性 的 转变 ， 它 可 以 使 危机 不 再 继续 恶化 。 很 多 时 候 ， 损 失 已 经 
无 可 挽回 ， 事 情 也 无 法 回 到 初始 状态 。 但 是 ， 如 果 我 们 能 把 损失 控制 到 
最 小 ， 也 不 失 为 一 种 进步 。 


灰 犀 牛 理论 所 出， 决策 者 应 该 关注 以 下 几 方 面 。 


第 一 ， 玉 取 “ 游 猫 攻略 ”， 关 注 大 数据 所 市 来 的 新 的 思考 维度 ， 尤 其 
是 海量 数据 所 揭示 出 的 规律 性 的 例外 情况 。 根 据 德 鲁 克 的 决策 五 要 素 模 
型 (问题 的 性 质 、 边 界 条 件 、 正 确 方 案 、 执 行 措施 和 评估 反馈) ， 大 数 
据 最 有 作为 的 就 是 在 问题 的 性 质 界 定 上 。 通 过 大 数据 ， 可 以 及 时 发 现 公 
司 运 营 中 被 名 上 略 和 遗漏 的 信息 。 当 这 些 信 息 呈 现 出 规律 性 时 ， 即 使 这 些 
信息 不 是 那么 紧急 ， 决 策 者 也 需要 开始 行动 ， 做 好 迎接 的 准备 。 此 外 ， 
采取 必要 的 对 冲 机 制 也 是 一 种 可 行 的 方案 。 


第 二 ， 在 大 数据 时 代 ， 系 统 思 考 能 力 的 重要 性 更 加 凸显 。 在 数据 的 
汪洋 大 海中 ， 如 果 没 有 足够 的 系统 思考 能 力 ， 决 策 者 将 陷入 细节 ， 根 本 
无 法 找到 正确 方向 。 对 于 各 级 决策 者 ， 要 尽量 以 更 宏观 的 视野 和 更 系统 
的 思考 ， 准 确 界定 问题 ， 明 确 诀 策 的 影响 边界 ， 要 避免 由 于 数据 而 珊 来 
的 应 激 性 管理 冲动 。 

第 三 ， 数 据 从 来 就 不 是 万 能 的 ， 决 策 者 需要 的 是 深入 实际 。 人 詹姆斯 
:斯 科 特 (James C.Scott) 在 《国家 的 视角 》 (Seeing Like a State) 一 书 
中 描述 了 数据 崇拜 带 来 的 恶果 : 依靠 地 图 重建 社区 ， 却 完全 不 知道 其 中 
民众 的 生活 状态 ; 依靠 农 收 数据 决定 采取 集体 农庄 ， 却 完全 不 懂 农 业 生 
产 的 规律 ， 依 靠 图 纸 数据 天 马 行 空 地 进行 规划 ， 过 度 强 调整 齐 划一 ， 久 
视 多样 性 和 地 方 传统 。 与 查看 各 种 报表 和 曲线 图 而 做 决策 相 比 ， 决 策 者 
到 基层 倾 昕 客户 的 抱 息 ， 体 验 员 工 的 辛劳 ， 感 受 市 场 的 多 元 化 ， 会 更 有 
助 于 做 出 好 的 决策 。 


























就 我 个 人 而 言 ， 我 更 倾 问 利用 小 数据 去 挑战 灰 犀 牛 。 


首先 ， 面 对 来 势 泣 泣 的 灰 犀 牛 ， 小 数据 可 以 在 海量 数据 中 发 现 企业 
运营 中 被 忽略 和 遗漏 的 信息 后 ， 捕 所 到 与 企业 休戚 相关 的 “小 细 
市 ”但 “大 到 难以 忽视 ”的 信息 ， 并 迅速 对 其 做 出 有 反应。 例如， 如 果 芭 怖 
分 子 只 学 开 飞 机 ， 不 学 降落 这 个 小 细 贡 被 关注 ， 美 国 反恐 历史 可 能 要 重 
写 。 还 有 一 个 例子 可 以 说 明 小 细 市 的 大 功效 。 依 据 大 数据 ， 旧 人 金山 地 区 
卫生 部 门 发 现 同性 恋人 群 肝病 及 病 率 上 升 预 计 艾 涕 病例 也 会 上 升 ， 但 对 
这 两 种 疾病 流行 正 相 关 的 预测 失败 。 深 入 调查 发 现 ， 同 性 恋 对 艾滋 病 越 
来 越 持平 常 心 。 他 们 利用 社交 网 络 ， 主 动 张贴 自己 的 情况 ， 避 人 免 交 义 感 
染 。 这 次 ， 关 于 行为 和 动机 的 小 数据 义 解 释 了 大 数据 看 不 到 的 规律 。 换 
名 话说， 小 数据 所 捕捉 到 的 小 细节 是 需要 通过 深刻 的 感知 和 学 习 而 形成 
的 对 个 体内 部 动作 机 理 的 描述 ， 这 样 见 微 知 著 的 小 细节 揭示 出 了 大 数据 
无 法 展现 的 个 体 思维 和 个 性 ， 因 此 能 够 解决 很 多 大 问题 。 


其 次 ， 小 数据 会 驱动 我 们 对 有 利 可 图 的 事情 开展 行动 ， 不 会 单纯 为 
了 避免 问题 的 发 生 而 采取 行动 。 我 们 可 以 认识 到 危机 问题 的 独特 之 处 ， 
并 且 把 它们 作为 机 遇 来 面 对 ， 重 大 危机 发 生 之 前 的 种 种 端倪 其 实 都 是 一 
次 次 绝 佳 的 机 遇 ， 这 样 才 能 做 到 不 仅 能 躲避 灾 难 的 袭击 ， 而 且 能 从 中 获 
益 。 例 如 ，2007 年 金融 危机 即将 发 生 的 时 候 ， 一 些 华尔街 内 部 人 士 通过 
寻找 有 政府 背景 的 企业 高 管 进行 危机 应 对 交流 ， 通 过 他 们 的 言谈 举止 判 
断 危 机 发 生 后 政府 是 否 会 出 手 救助 ， 他 们 非常 清楚 这 些 企业 高 管 的 所 作 
所 为 会 导致 风险 累积 ， 进 而 爆发 危机 。 因 此 他 们 在 危机 到 来 前 尽量 抛售 
个 人 持仓 ， 通 过 选择 做 空 实现 了 从 金融 危机 中 赚钱 。 

最 后 ， 小 数据 可 以 帮助 你 记 住 最 重要 的 事情 ， 时 刻 提醒 你 灰 犀牛 就 
在 眼前 。 有 人 打 了 一 个 比方 ， 他 说 今天 我 们 是 处 在 一 个 信息 过 剩 的 时 
代 ， 以 前 要 获取 信息 非常 困难 ， 而 今天 打开 手机 到 处 都 是 信息 ， 但 是 大 
部 分 的 信息 只 影响 你 的 皮肤 ， 没 有 深入 你 的 身体 里 。 看 上 去 你 获取 了 很 
多 的 信息 ， 其 实 你 没有 把 这 些 信息 真正 消化 掉 ， 这 就 相当 于 你 在 灰 犀牛 
面前 却 丝毫 不 会 察 党 到 异 状 。 而 小 数据 的 本 质 是 深化 ， 它 能 让 你 看 到 它 























最 核心 的 东西 ， 并 时 刻 提醒 你 危机 的 存在 。 惑 像 我 们 有 时 会 在 一 个 笔记 
本 上 记录 下 我 们 听 不 懂 的 重点 和 难点 问题 ， 回 过 头 来 还 要 仔细 复习 一 
样 ， 或 者 像 一 个 床 头 的 小 辣 钟 ， 时 刻 提 醒 我 们 每 天 都 要 利用 好 清晨 ， 为 
一 天 的 工作 做 好 预习 ， 最 大 限度 应 对 我 们 已 经 知道 并 在 未 来 可 能 出 现 的 
大 概率 危机 。 





三 、 小 数据 与 独 角 兽 


(一 ) 独 角 兽 : 一 个 题 履 传统 的 企业 神话 


“ 独 角 兽 ?企业 是 投资 界 中 一 个 非常 火 的 概念 ， 这 一 概念 最 早 在 2013 
年 由 美国 著名 风险 投资 公司 Cowboy Venture 投 资 人 艾 草 : 李 (Aileen 
Lee) 提出 ， 专 指 那些 估 值 达到 10 亿 美元 以 上 的 初创 企业 。 之 后 这 个 词 
迅速 流行 于 硅谷 ， 并 且 出 现在 《 财 宣 》 杂 志 的 封面 上 ， 随 后 流行 到 全 世 
界 。 

“ 独 角 兽 ”企业 除了 估 值 必须 超过 10 亿 美元 这 个 最 为 直观 的 入 门 级 标 
准 外 ， 其 实 还 有 其 他 的 衡量 标准 。 上 前 先 ， 独 角 曾 企业 带 来 的 产品 在 最 初 
出 现 的 时 候 ， 人 们 都 觉得 难以 置信 ， 但 当 人 们 习惯 这 种 方式 后 ， 会 觉得 
习以为常 ， 不 可 或 缺 。 例 如 ， 阿 里 巴巴 刚刚 创立 的 时 候 ， 大 多 数 国人 认 
为 是 天 方 夜 谭 ， 没 有 见 卖 家 的 面 ， 没 有 亲眼 看 到 实物 ， 怎 么 可 能 去 付 钱 
购买 商品 。 如 今 ， 淘 宝 购 物 成 为 许多 购物 者 最 为 常见 的 购买 渠道 ， 甚 至 
消费 占 支 出 比例 最 大 。 其 次 ， 它 们 都 改变 了 人 们 的 工作 方式 和 生活 方 
式 。 因 为 “ 独 角 兽 ”企业 都 是 创新 企业 ， 它 们 不 会 让 消费 者 去 做 不 同 的 事 
情 ， 而 是 让 消费 者 成 为 不 同 的 人 。 最 后 ,，“ 独 角 兽 ”企业 会 产生 巨大 的 经 
济 影响 。 它 们 甚至 最 后 都 会 超出 “ 独 角 兽 ”企业 的 创立 者 可 以 想象 的 极 
限 。 


在 世界 范围 内 ， 你 可 以 举 出 一 系列 垄断 性 “ 独 角 骨 ”的 例子 : 
Facebook 古 压倒 性 优势 的 社交 工具 ， 它 让 人 们 变 得 更 容易 更 主动 地 连接 
在 一 起 了 ; LinkedImn 〈 领 英 ) 是 压倒 性 优势 的 职业 社交 平台 ， 它 让 专业 
人 脉 和 洞 见 更 自由 地 组 合 和 流动 ; Uber〈 在 世界 上 绝 大 部 分 它 已 经 进入 
的 市 场 ) 是 文 配 性 地 位 的 交通 出 行 工具 ， 它 让 更 多 的 人 成 为 目 由 的 司 











机 ， 让 更 多 人 成 了 可 以 随时 搭车 的 乘客 ， 进 而 提升 了 公路 上 的 效率 : 
Airbnb〈 爱 役 迎 ) 几乎 在 全 球 范围 内 找 不 到 与 之 相近 的 对 手 ， 它 为 文 
化 、 旅 行 与 人 际 间 的 信任 赋予 了 新 的 内 涵 ; Pinterest 是 独一无二 的 图 片 
分 诗 空 间 ， 它 是 这 个 世界 上 大 多 数 美学 唯 “ 物 ”主义 者 和 收藏 癖 的 精神 家 
园 ; Instagram 是 当前 首届 一 指 的 影像 社交 网 络 ， 它 是 人 们 用 视觉 探索 、 
诗 受 这 个 世界 并 与 它 互 动 的 最 重要 平台 ..……... 而 且 ， 这 些 公司 都 非常 值 
钱 ，10 亿 美元 是 它们 市 面 价值 的 底 限 。 


“ 独 角 兽 ”企业 一 般 引 领 疹 产业 变 昔 的 方向， 能 带 来 全 球 产业 的 十 
履 。 在 新 经 济 时 代 ， 随 着 各 类 创新 资源 的 加 速 流动 ， 逐 渐 形 成 了 能 
使 “ 独 角 兽 ?企业 不 断 涌 现 的 社会 土壤 ， 使 企业 能 够 在 短 时 间 内 抓 住 机 
会 ， 整 合资 源 ， 灯 发 式 成 长 为 “ 独 角 兽 ”。 当 前 , “ 独 角 兽 ?企业 在 茶 种 程 
度 上 已 成 为 形 显 一 个 国家 创新 能 力 的 评价 指标 ， 是 全 球 各 路 资本 苋 相 关 
注 的 热点 和 焦 反 所 在 。 

“创业 企业 有 很 多 ， 但 我 想 成 为 ' 独 角 兽 企业。” 这 或 许 是 每 一 个 企 
业 创 立 者 的 梦想 。 











《二 )“ 独 角 兽 ?是 如 何 修炼 而 成 的 


在 全 民 创 业 的 时 代 背 景 下 ， 创 业者 想 要 目 己 的 企业 有 机 会 成 为 “ 独 
角 兽 ”， 是 一 件 非常 困难 的 事情 。 成 为 “ 独 角 兽 ”的 企业 往往 需要 艰 否 的 
早期 摸索 与 挣扎 ， 不 过 ， 一 旦 它们 被 资本 市 场 天 注 并 扶持 ， 或 在 市 场 上 
的 优势 地 位 已 经 被 足够 多 的 用 户 认 知 以 后 ,“ 独 角 兽 ?的 地 位 就 几乎 英 定 
了 。 但 是 独 角 兽 是 怎么 修炼 的 呢 ? 它 不 是 一 下 子 就 出 来 的 ， 而 是 在 每 件 
事 上 通过 运用 小 数据 思维 ， 一 点 一 滴 做 出 来 、 成 长 起 来 的 。 











(1) 初创 期 


企业 初创 期 泛 指 从 企业 刚刚 创立 开始 ， 一 直到 获得 天 使 轮 融 资 的 阶 





段 ， 往 往 都 有 资金 短缺 、 人 才 匮 乏 〈 通 常 只 有 创始 人 及 为 数 不 多 的 核心 
员工 ) 、 业 务 开拓 吃力 、 企 业 文 化 及 各 项 制度 需要 健全 等 问题 需要 解 
决 。 要 想 在 这 样 的 环境 中 脱颖而出 ， 创 业者 需要 利用 小 数据 思维 做 好 以 
下 几 操 。 


第 一 ， 必 须 先 要 找到 一 个 适合 创业 的 领域 。 瓜 子 二 手 车 草 事 长 杨 浩 
涌 在 创业 方向 选择 上 ， 给 出 了 四 个 小 数据 特征 : 一 是 所 选择 的 行业 足够 
大 ， 是 一 个 增 量 市 场 ， 二 是 行业 处 在 拐点 期 ， 需 要 一 些 新 的 模式 来 颠 
履 ;， 三 是 新 需求 出 现 并 且 大 爆 及 ; 四 是 竞争 者 一 开始 不 存在 或 被 早早 抛 
在 号 后 。 


第 二 ， 要 不 断 地 找 小 伙伴 同行 。 深 圳 市 奔跑 科技 有 限 公 司 创始 人 、 
前 华为 高 管 任 宝 刚 认为 合伙 人 必须 具备 一 个 关键 的 特征 ， 就 是 一 定 要 找 
有 创业 思维 的 人 作为 合作 伙伴 ， 而 不 会 考虑 工资 多 少 、 风 险 大 小 等 问 
题 。 因 为 创业 和 打工 完全 是 两 种 截然 不 同 的 思维 ， 如 果 在 找 合作 伙伴 的 
时 候 ， 还 没有 完成 从 打工 思维 转变 成 创业 思维 ， 那 么 此 人 基本 就 只 能 作 
为 员工 而 不 是 合作 伙伴 来 加 入 。 


第 三 ， 选 择 做 对 用 户 有 价值 的 事情 。 这 个 价值 是 指 解决 实 实 在 在 的 
需求 ， 而 不 是 凭空 造 出 的 伪 需 求 。 商 业 的 本 质 其 实 就 是 为 人 民 服 务 ， 你 
只 有 服务 好 人 民 ， 人 民 才 会 为 你 服务 ， 愿 意 拿 出 钱 购买 你 的 服务 或 产 
品 。 无 论 是 什么 物品 ， 哪 怕 小 至 一 瓶 水 都 是 在 为 人 民 服 务 的 。 一 瓶 水 ， 
里 然 只 是 一 个 小 数据 个 体 ， 但 它 解 决 的 是 人 们 口 淘 的 问题 ， 所 以 人 们 才 
会 掏 钱 去 买 它 。 


第 四 ， 寻 找 最 好 的 时 机 。 每 个 人 者 希望 找 准时 机 ， 但 好 时 机 是 不 会 
举 痢 牌子 告诉 大 家 它 来 了 的 。 如 采 猪 都 看 到 风口 来 了 上 了 天 ， 这 个 时 
候 你 再 冲 进去 肯定 是 晚 了 。 真 正 能 抓 住 机 会 的 ， 一 定 是 那些 能 够 看 到 小 
数据 的 少数 人 ， 明 明 现 在 是 晴天 ， 却 考虑 到 明天 刊 风 ， 后 天 下 雨 怎么 办 
的 人 。 





























(2) 成 长 期 


创业 公司 的 成 长 期 一 般 特 指 A 轮 和 B 轮 融资 的 阶段 ， 此 时 企业 产品 
逐渐 成 熟 ， 已 经 开始 在 市 场 中 推广 验证 了 一 段 时 间 并 试图 将 业务 进行 复 
制 增长 的 阶段 。 这 个 阶段 和 人 的 青春 期 非常 相似 ， 它 充满 了 波折 、 叛 
道 、 冲 突 ， 大 多 创业 者 都 认为 这 是 压力 最 大 的 时 期 。 那 么 如 何 运用 小 数 
据 思维 应 对 成 长 期 的 烦恼 呢 ? 


第 一 ， 不 要 一 个 人 战斗 。 在 企业 初创 时 期 ， 由 于 人 数 较 少 ， 往 往 是 
一 人 里 兼 多 职 。 很 多 创业 者 习惯 自己 打 全 部 责任 ， 总 觉得 没 人 能 分 担 自 
己 的 压力 ， 这 是 一 种 大 而 区 的 管理 方式 。 但 是 一 个 成 功 的 企业 ， 它 的 组 
织 结构 古 非常 清晰 的 。 正 所 谓 “ 麻 省 虽 小 ， 五 脏 俱全 ”。 一 个 企业 到 了 成 
长 期 ， 应 该 配 有 相应 管理 职能 的 部 门 ， 将 每 个 人 放 在 其 最 有 优势 的 岗位 
上 。 这 时 企业 的 创业 者 就 应 将 权限 分 配 到 每 个 网 位， 友 挥 个 体 的 作用 ， 
以 提高 企业 整体 的 工作 效率 ， 同 时 也 可 避免 因 部 门 职责 不 清 造成 的 低 效 
率 和 口 成 本 。 

第 二 ， 让 管理 规章 制度 化 。 企 业 是 人 的 集合 ， 是 为 了 实现 搞 好 企业 
生产 经 营 活动 这 个 目标 而 集合 的 ， 这 个 事实 本 身 就 制约 着 人 们 要 按 目 标 
再 要 行动 。 这 时 企业 管理 者 就 需要 运用 小 数据 思维 ， 明 确 每 一 项 工作 的 
职责 有 要点、 操作 流程 、 管 理 规范 、 权 利 义 务 等 ， 建 立 一 整套 完整 的 规章 
制度 ， 让 每 个 个 体 都 能 在 约束 的 环境 中 充分 享受 到 目 由 ， 维 护 目 身 应 有 
的 权益 。 这 既是 为 了 保障 公司 与 个 人 的 共同 利益 ， 也 有 助 于 企业 行为 和 
企业 员工 行为 的 统一 化 。 

第 三 ， 要 坚持 信仰 。 创 业 需 要 时 间 ， 但 创业 者 衣 定 会 有 一 个 因为 发 
展 慢 而 诅 丧 ， 或 因为 疫 荔 而 想 放 弃 的 阶段 。 此 时 创业 者 应 该 提醒 目 己 ， 
创业 刚 开 始 总 有 什么 是 你 坚信 的 ， 你 坚信 你 能 带 来 价值 ， 改 变 行业 ， 提 
升 效率 等 ， 这 是 你 创业 的 核心 价值 ， 也 是 你 心中 牢记 的 小 数据 。 创 业者 
无 论 什 么 情况 ， 都 要 不 断 地 坚持 目 己 的 信仰 和 初衷 ， 让 企业 不 断 发 展 。 

第 四 ， 制 定 一 张 实际 可 行 的 时 间 表 。 在 创业 初期 ， 多 任务 同时 进行 
似乎 已 经 成 为 一 种 很 普 近 的 事情 。 但 是 到 了 企业 成 长 期 ， 创 业者 要 据 弃 
这 种 做 法 ， 应 该 将 每 一 项 工作 的 时 间 计 划 进 行 合 理 安排 ， 并 将 这 些 任 务 



































完成 时 点 的 小 数据 牢记 于 心 。 如 有 果 你 没有 将 为 实现 目标 而 采取 的 步骤， 
以 及 期 望 实现 目标 的 时 间 落 实 到 笔头 上 上， 那么 按照 计划 行事 将 会 变 得 困 
难 。 并 且 ， 这 人 句 话 的 重点 在 于 “实际 可 行 ”， 创 业者 要 经 常 回 头 看 看 你 的 
时 间 表 ， 关 注 你 每 一 项 工作 完成 的 进度 数据 ， 并 根据 需要 随时 对 时 间 表 
进行 更 新 。 











(3) 扩张 期 


企业 扩张 期 一 般 指 企业 市 场 份额 逐步 提升 ， 不 少 风 险 投 资 基金 也 给 
大 和 欲 动 ， 如 果 创 始 人 在 前 期 束 有 资本 战略 的 考虑 ， 那 么 此 时 ， 企 业已 进 
行 了 几 轮 融资 的 阶段 。 此 时 企业 内 各 个 领域 都 已 建立 系统 化 、 规 范 化 现 
代 企 业 制度 、 战 略 目 标明 确 、 组 织 架 构 合理 、 工 作 流程 清晰 、 分 工 职员 
明了 ， 同 时 ， 信 息 化 运用 广泛 、 效 果 显 着 。 但 市 场 中 也 充满 着 与 企业 同 
类 型 并 左 有 实力 的 竞争 者 ， 很 多 创业 者 在 这 个 阶段 可 能 会 “大 意 失 荆 
州 ”。 因 此 在 这 个 阶段 ， 核 心 是 管理 ， 创 业者 应 通过 小 数据 思维 设计 出 
科学 的 企业 管理 机 制 ， 让 每 一 个 板块 都 有 领军 人 物 并且 以 创业 心态 投入 
工作 。 


第 一 ， 建 立 完善 的 激励 约束 机 制 。 公 司 规模 扩大 往往 珊 来 其 股权 的 
分 散 化 ， 资 本 所 有 者 与 经 营 者 相 分 离 ， 所 有 者 不 直接 参与 日 党 的 经 营 管 
理工 作 ， 因 此 必须 建立 一 套 完整 的 激励 约束 机 制 。 一 是 建立 科学 的 薪酬 
体系 ， 利 用 小 数据 指标 去 考核 与 激励 ， 明 确 包 括 报酬 构成 、 数 量 以 及 与 
何 种 业绩 指 标 挂钩 等 KPI〈 关 键 绩效 指 标 ) 数据 ， 有 效 激 励 经 营 者 。 二 
征 为 员工 提供 有 效 的 晋升 机 会 通道 。 普 升 机 会 的 减少 可 能 造成 员工 激励 
不 足 、 流 动 性 增加 等 现象 ， 企 业 可 以 通过 小 数据 指标 为 每 个 员工 进行 职 
业 生 庭 点 的 规划 ， 提 供 有 竞争 力 的 薪酬 和 系统 的 培训 计划 ， 完 善 考 评 和 
普 升 机 制 ， 提 供 管理 、 技 术 等 多 渠道 友 展 途径 等 方式 ， 来 实现 员工 个 人 
发 展 的 需要 。 


第 二 ， 人 确保 产品 创新 与 沈 代 在 可 控 范 围 。 企 业 在 继续 挖掘 和 深入 开 
发 现 有 产品 的 同时 ， 也 会 适度 地 加 大 产品 创新 力度 、 扩 大 产品 组 合 ， 确 























保 产品 市 场 份额 的 稳定 增加 。 但 并 不 意味 着 企业 已 经 做 成 了 一 个 产品 ， 
再 做 成 一 个 产品 是 顺理成章 的 事 。 因 为 对 于 绝 大 多 数 人 和 绝 大 多 数 企 业 
来 讲 ， 他 们 都 只 会 串 行 不 会 并 行 ， 都 只 擅长 做 完 一 件 事 再 做 男 一 件 事 ， 
无 法 同时 并 行 两 件 事 。 这 时 管理 者 就 要 用 小 数据 来 判断 ， 如 果 做 一 件 事 
难度 是 A， 并 行 做 两 件 事 的 难度 不 是 Ax2 的 话 ， 我 们 就 要 评估 是 Ax3 还 
是 Ax4， 确 保 在 我 们 力所能及 的 范围 。 如 果 对 产品 创新 认识 不 足 ， 我 们 
就 会 看 到 很 多 “一 代 拳 王 ” 式 的 企业 ， 在 一 个 产品 上 成 功 了 然后 失败 在 多 
元 化 上 


第 三 ， 不 要 言 目 扩张 渠道 。 企 业 在 扩张 期 往往 面临 着 巨大 的 任务 压 
力 ， 渠 道 扩张 必 不 可 少 。 但 在 企业 准备 扩张 新 渠道 时 ， 首 先 一 定 要 看 汇 
道 所 在 市 场 是 不 是 自己 的 核心 市 场 ， 并 且 核 心 市 场 建设 得 如 何 。 这 里 需 
要 用 小 数据 去 调研 市 场 ， 渠 道 所 在 市 场 的 总 体 容 量 有 多 少 ? 客户 总 量 有 
多 少 ? 预 估 转化 率 如 何 ? 是 人 否 能 作为 自己 的 根据 地 ? 如 果 企 业 目 身 根本 
没有 几 个 根据 地 市 场 ， 和 暂时 先 不 要 去 想 快 速 扩张 渠道 。 没 有 形成 根据 地 
的 企业 ， 说 明 自 己 业务 团队 的 力量 还 不 足 。 即 便 有 外 部 渠道 支撑 ， 仍 然 
难以 燃烧 起 旺季 之 火 。 


























(4) 成 熟 期 


企业 成 谭 期 是 指 企 业已 经 进入 了 最 后 冲刺 的 阶段 。 正 常情 况 下 ， 该 
阶段 企业 应 已 完成 了 整体 建设 ， 并 即将 成 为 市 场 中 的 “ 独 角 兽 ”。 此 时 企 
业 应 利用 精确 的 小 数据 对 比 与 分 机 ， 研 判 目 己 与 竞争 对 手 的 真实 差距 ， 
做 出 最 后 的 决策 。 


第 一 ， 继 续 保 持 并 巩固 自身 优势 。 成 熟 期 的 企业 必须 继续 保持 和 巩 
固 既 有 核心 业务 的 竞争 优势 ， 对 现 有 生产 能 力 不 断 进 行 挖 掘 。 此 时 企业 
应 通过 与 竞争 对 手 的 关键 数据 进行 对 比 ， 考 虑 采用 资本 策略 去 兼并 市 场 
中 的 中 小 企业 ， 以 吸收 存量 业务 去 挤 压 对 手 ; 或 是 从 内 部 管理 中 要 效 
蔓 ， 以 利用 成 本 策略 与 价格 策略 去 挑战 对 手 ， 从 而 巩固 企业 上 自身 优势 ， 
抢占 先 机 ， 继 续 保 持 龙 头 地 位 。 





第 二 ， 始 终 保持 企业 的 活力 。 在 企业 业绩 较 好 、 市 场 环境 也 非常 有 
利 的 环境 下 ， 企 业 也 一 定 要 进行 持续 的 变革 ， 树 立 “ 变 才 是 唯一 不 变 ” 的 
思想 ， 并 要 始终 传达 这 样 的 理念 给 全 体 员 工 : 一 旦 懈 信 下来， 可 能 就 会 
落后 。 这 时 ， 企 业 也 可 利用 每 日 小 数据 的 公布 ， 证 每 个 员工 都 清楚 地 知 
道 企业 与 市 场 的 状况 ， 保 持 对 市 场 的 敏感 性 ， 把 这 样 的 变化 作为 变革 的 
动力 ， 使 企业 保持 活力 。 

第 三 ， 尺 量 避 免 犯错 误 。 往 往 在 关键 时 刻 ， 一 个 英明 的 决策 可 以 让 
濒于 破产 的 企业 起 死 回 生 ， 而 一 个 错误 的 决策 则 会 把 企业 推 癌 万 丈 深 
洲 。 在 这 段 时 期 里 ， 企 业 领 导 者 必须 要 善于 研究 和 分 析 问 题 ， 抓 住 事物 
的 本 质 ， 抓 住 小 数据 的 特征 ， 严 控 风 险 ， 防 微 杜 渐 ， 重 视 企 业 存在 的 每 
一 个 问题 ， 并 在 错误 面前 做 出 正确 的 决策 。 


第 四 ， 永 远 不 要 停 下 学 习 的 脚步 。 企 业 作 为 一 个 系统 ， 其 面临 的 环 
境 是 不 断 变 化 的 。 在 这 样 复 保 多 变 的 形势 下 ， 企 业 要 想 生 存 和 发 展 ， 囊 
要 不 断 地 创新 ， 以 变 应 变 。 而 应 变 能 力 的 强 弱 来 源 于 不 断 地 学 习 ， 来 源 
于 知识 的 日 积 月 累 。 因 此 ， 企 业 必须 勤学 苦 练 ， 不 断 补 充 包 括 人 、 组 
织 、 决 策 、 沟 通 、 技 术 等 小 数据 知识 ， 时 刻 保持 企业 的 认 知 水 平 走 在 行 
业 的 前 列 。 




















(三 ) 寻找 “ 独 角 轩 ”也 需要 小 数据 思维 


对 于 风险 投资 而 言 ， 最 重要 的 就 是 要 发 现 “ 独 角 吕 ”、 投 中 “ 独 角 
兽 ”， 而 且 要 确保 每 一 期 基金 里 面 能 投 中 一 到 两 个 “ 独 角 兽 ?才能 较 好 地 
生存 下 去 。 投 中 一 个 “ 独 角 兽 ”基本 上 可 以 把 基金 赚 回 来 ， 投 中 两 个 “ 独 
角 兽 ”， 可 能 基金 有 几 倍 的 回报 。 如 果 投 中 三 个 以 上 的 “ 独 角 兽 ”， 这 个 
基金 回报 会 在 这 个 行业 里 面 变 成 TOP《〈 头 部 ) 的 情况 。 那 么 要 想 投 
中 “ 独 角 兽 ”， 首 先 要 考虑 的 便 是 如 何 寻 找 “ 独 角 兽 ”。 


梅花 天 使 天 世 春 在 谈 到 如 何 发 现 “ 独 角 兽 ?时 ， 他 的 观点 是 依靠 小 数 
据 ， 先 选 人 。 一 个 企业 的 价值 ，90% 以 上 在 团队 身上 ， 一 个 团队 的 价值 











80% 以 上 在 创始 人 号 上 。 发 现 “ 独 角 兽 ”， 并 不 是 先 发 现 好 的 项 目 ， 而 古 
说 先 发 现 好 的 创始 团队 或 者 及 现 好 的 CEO。 投 A 轮 时 可 以 看 产品 ， 投 B 
轮 时 可 以 看 数据 ， 投 C 轮 时 可 以 看 所 谓 的 成 长 曲线 或 者 财务 模型 ， 但 是 
投 天 使 轮 时 ， 并 没有 更 多 可 参考 的 依据 ， 只 能 看 人 ， 看 这 个 创业 者 的 成 
长 潜力 。 

蝙 蝙 资 本 创始 合伙 人 届 田 将 比较 成 功 的 创始 团队 归 为 三 个 小 数据 特 
征 : 一 是 他 们 大 部 分 之 前 创业 过 ， 即 使 没有 创业 ， 他 们 在 大 学 阶段 也 做 
过 各 种 各 样 的 小 生意 ， 都 非常 有 生意 头脑 ， 而 且 有 这 方面 的 创业 经 验 ; 
二 是 这 些 人 都 曾 在 BAT 《百度 、 腾 讯 、 阿 里 巴巴 ) 或 者 其 他 的 大 型 的 ， 
或 者 百 亿 美元 的 互联 网 公司 ， 担 任 过 中 层 的 职务 ， 融 过 团队 ， 打 过 硬 
仗 ， 从 零 做 起 一 项 业务 ， 而 且 在 市 场 竞 争 的 情况 下 取得 过 不 错 的 业绩 ; 
三 是 这 些 团队 不 是 一 个 人 ， 是 大 概 三 四 个 人 ， 三 四 个 人 也 不 是 临时 拼凑 
的 团队 ， 他 们 之 前 合作 过 很 长 时 间 ， 无 论 是 共同 创业 ， 还 是 在 大 公司 作 
为 同事 相互 了 解 ， 有 共同 的 理想 ， 比 较 有 默契 。 如 果 有 具备 以 上 三 个 小 数 
据 特 征 ， 即 便 有 时 候 投 资 人 在 赛 道上 不 是 完全 看 得 很 清楚 ， 他 们 往往 也 
愿意 投资 这 样 的 团队 。 

除了 “人 ”这 个 特征 外 ， 其 实 无 论 是 天 使 轮 ， 还 是 A 轮 、B 轮 乃至 其 
他 轮 次 的 投资 ， 一 个 企业 是 否 值得 被 投资 ， 在 投资 人 的 逻辑 中 永远 包含 
以 下 几 个 特征 ， 是 需要 投资 人 进行 评估 的 。 

这 些小 数据 特征 包括 : 明确 的 市 场 定 位 、 完 整 的 市 场 计 划 、 清 晰 且 
详细 的 竞争 对 手 分 析 、 积 极 的 销售 策略 、 可 以 理解 的 专 有 技术 、 清 晰 的 
商业 计划 和 执行 摘要 、 高 成 长 的 企业 潜力 、 附 带 假 设 条 件 的 财务 预测 、 
合理 的 利益 分 配方 式 、 实 现 正 现金 流 的 周 斯、 糟糕 情 况 下 的 财务 绥 冲 、 
3~5 年 的 退出 机 制 、 投 资 保护 机 制 、 投 资 额 幅度 、 资 金 使 用 计划 、 后 续 
融资 计划 、 合 理 公 平 的 佑 值 方法 、 管 理 层 的 新 酬 等 。 




















四 、 小 数据 与 长 尾 分 布 


(一 ) 长 尾 分 布 : 一 个 决定 企业 生存 的 二 八 原理 


近 几 年 来 ， 随 着 互联 网 科技 的 日 益 完 善 ， 一 个 新 的 名 词 逐 渐 被 大 家 
熟识 ， 就 是 “长 尾 ” (The Long Tail) ， 也 称 为 “长 尾 分 布 理 论 ”。 这 个 词 
最 初 由 美国 《 连 线 》 的 总 编辑 殉 里 斯 . 安 德 柠 (Chris Anderson) 于 2004 
年 提出 来 ， 这 个 词 可 以 通俗 地 解释 为 : 只 要 存储 和 流通 的 渠道 足够 大 ， 
需求 不 旺 或 销量 不 佳 的 产品 共同 占据 市 场 的 份额 甚至 可 以 和 那些 数量 不 
多 的 热卖 品 所 占据 的 市 场 份 额 相 匹敌 或 更 大 。 长 尾 理 论 认 为 ， 由 于 成 本 
和 效率 的 因素 ， 过 去 人 们 只 会 关注 重要 的 人 或 事 ， 如 果 用 需求 曲线 来 摘 
述 ， 受 精力 与 成 本 等 客观 因素 的 限制 ， 人 们 通常 只 会 关注 曲线 的 “ 尖 
部 ”?”， 而 选择 忽略 曲线 的 “尾部 ”?。 长 尾 即 是 指 需 求 曲 线 长 长 的 尾部 (如 
图 10-2 所 示 ) ， 一 般 也 代表 了 相对 冷门 或 小 众 的 产品 。 
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主要 部 分 “长 尾 品种 


图 10-2 长 尾 分 布 图 


传统 的 经 济 思 维 告 诉 我 们 20% 的 产品 带 来 80% 的 收益 ， 我 们 需要 关 
注 的 是 需求 曲线 的 头 部 而 非 尾部 ， 需 要 关注 少数 关键 利润 创造 者 的 需求 
而 非 大 多 数 创造 少数 利润 者 的 需求 。 如 果 一 家 早餐 店 70% 的 早餐 都 被 几 
家 固定 公司 订购 ， 那 么 这 家 店 将 关注 这 几 家 公司 的 早餐 口味 建议 和 要 
求 ， 对 其 他 来 店 里 买 早餐 的 散 客 的 口味 需求 则 不 会 太 在 意 。 但 是 在 如 今 
这 个 发 达 的 网 络 时 代 ， 若 只 依靠 大 数据 来 锁定 主流 市 场 ， 这 些 长 长 的 尾 
巴 可 能 会 给 我 们 致命 一 击 。 











(二 ) 亚马逊 是 如 何 成 功 的 ? 


目前 ， 借 助长 尾 效应 ， 已 有 众多 企业 获得 了 丰厚 的 利润 。 如 著名 的 
Google 公 司 的 主要 利润 并 不 是 来 自 大 型 企业 的 广告 ， 而 古 小 公司 的 广 
告 ; 电 丙 e-Bay〈 吻 贝 ) 的 获 利 主要 也 来 自 长 尾 商 品 ， 亚马逊 网 络 书店 
的 书籍 销售 额 中 ， 有 259% 是 依靠 排名 10 万 以 后 的 “冷门 ?书籍 。 











在 亚马逊 创始 之 初 ， 创 始 人 贝 索 斯 敏锐 地 意识 到 电子 商务 将 改变 图 
书市 场 经 济 的 特征 ， 因 为 图 书 的 种 类 和 数量 不 再 受到 地 域 的 限制 ， 各 地 
分 散 的 特殊 种 类 图 书 的 需求 者 可 以 合 在 一 起 形成 规模 经 济 ， 从 而 可 以 为 
大 住 在 小 镇 且 具 有 特殊 偏好 ， 很 难 找到 上 自己 需要 的 图 书 的 读者 提供 他 们 
所 需要 的 书籍 ， 形 成 典型 的 长 尾市 场 。 这 不 仅 有 利于 读者 ， 也 有 利于 作 
者 和 出 版 商 。 和 凭借 电子 商务 一 键 式 服务 的 便捷 方式 ， 节 省 了 大 量 的 搜寻 
成 本 和 中 间 环 市 的 流通 成 本 ， 那 些 以 往 未 能 浮 出 水 面 的 长 尾 产 品 一 下 子 
多 起 来 ， 所 以 ， 从 早期 开始 ， 亚 马 逊 的 图 书 种 类 惑 超过 了 任何 一 家 实体 
书店 ， 一 举 成 为 全 球 最 大 的 网 上 书店 。 

长 尾 的 生命 力 ， 以 互联 网 为 基础 ， 通 过 网 络 实现 实时 互动 交易 ， 在 
第 一 时 间 满 足 消费 者 的 需求 并 对 其 不 断 变 化 的 需求 进行 反 饿 。 使 广告 的 
成 本 大 大 降低 ， 其 传播 形式 的 改变 也 同时 促使 了 大 量 产品 的 销售 。 

根据 统计 学 术语 ， 长 尾 曲 线 中 的 “ 头 是 指正 态 曲线 中 间 的 突起 部 
分 ;“ 尾 ” 指 两 边 相 对 平缓 的 部 分 。 从 需求 的 角度 来 看 ， 大 多 数 的 需求 会 
集中 在 头 部 ， 而 分 布 在 尾部 的 需求 是 个 性 化 、 零 散 和 小 量 的 。 这 样 ， 在 
需求 曲线 上 的 一 条 长 长 的 “尾巴 ” 束 由 这 部 分 有 莽 异化 的 、 少 量 的 需求 形成 
了 。 当 这 样 个 性 化 、 零 散 和 小 量 的 市 场 相 加 起 来 时 ， 一 个 比 主流 市 场 还 
大 的 市 场 就 形成 了 了， 这 惑 是 所 谓 的 长 尾 效应 。 亚 马 示 为 消费 者 提供 了 接 
近 无 限 的 选择 ， 它 几乎 收集 到 了 接近 100% 的 书籍 书目 。 为 什么 亚 马 进 
能 够 迅速 准确 地 找到 目 己 的 定位 呢 ? 事实 上 这 是 来 自 其 创始 人 对 于 图 书 
市 场 和 读者 市 场 的 敏锐 观察 ， 贝 索 斯 通过 将 这 两 个 市 场 进行 匹配 发 现 了 
数 不 清 的 长 尾 需 求 ， 并 且 直 击 实体 书店 在 解决 长 尾 需 求 方面 的 痛 点 : 引 
进 小 众 需要 的 书籍 的 成 本 与 成 功 售卖 这 些小 众 书 籍 获取 的 收益 之 间 不 匹 
配 的 风险 。 而 亚马逊 通过 电 丙 平 侣 有效 地 汲取 长 尾 需求 ， 并 且 通 过 汉化 
时 间 效 应 来 将 这 些 需求 对 应 的 成 本 摊薄 了 。 事 实证 明 ， 亚 蕊 还 打造 了 一 
个 电 丙 平台 的 典范 ， 并 且 逐 渐 扩 充 目 己 的 商业 版 图 ， 成 功 地 将 小 数据 拓 
展 成 了 大 数据 。 因 此 ， 亚 号 还 迅速 通过 利用 长 尾 需 求实 现 了 规模 效应 ， 
而 规模 效应 恰恰 是 长 尾 理论 个 性 化 、 差 异化 产品 供给 的 先决 条 件 。 前 面 
己 经 说 过 ， 亚 马 逊 已 经 利用 大 数据 技术 获得 了 巨大 的 成 功 。 难 得 的 是 ， 



































亚马逊 没有 被 上 自己 已 经 获得 的 成 功 冲 展 头 脑 ， 而 是 从 线 上 又 走 同 了 线 
下 ， 在 线 下 开设 实体 书店 ， 将 目光 聚焦 到 了 那些 喜欢 在 实体 书店 购书 看 
书 的 中 老年 人 等 群体 。 这 样 来 看 ， 亚 马 逊 在 经 营 上 的 理念 和 模式 是 : 从 
线 下 跃 导线 上 上， 又 从 线 上 俯 隔 线 下 ， 从 小 数据 成 长 为 大 数据 ， 又 从 大 数 
据 收 敛 到 小 数据 。 这 样 的 商业 目光 前 瞻 ， 确 实 足 以 推动 亚马逊 走 同 顶 


/人 、\ 


六 。 


五 、 小 数据 与 随机 漫步 


(一 ) 随机 漫步 : 一 个 不 确定 时 代 的 风口 


随机 漫步 理论 又 称 投 飞镖 理论 。20 世 纪 60 年 代 中 期 ， 美 国 国会 讨论 
基金 立法 的 时 候 ， 有 一 天 参议 院 议员 珊 了 一 块 贴 满 股票 名 字 的 飞镖 靶 走 
进 会 场 ， 然 后 开始 投掷 飞镖 ， 把 投 中 的 股票 作为 购买 的 资产 组 合 。 结 果 
被 他 “ 乱 杀 ? 投 中 的 资产 组 合 最 终 的 收 番 率 情 况 甚 至 优 于 基金 公司 的 相关 
专家 所 建立 的 资产 组 合 ， 其 业绩 表现 更 加 优秀 。 因 此 ， 这 位 参议 员 笃 信 
并 且 以 此 证 明 “ 随 机 ”理论 的 正确 性 。 


随机 漫步 理论 的 核心 束 是 指出 市 场 价 格 是 市 场 对 随机 到 来 的 事件 信 
奶 做 出 的 反应 ， 投 资 者 的 意志 并 不 能 主导 事态 的 发 展 。 不 过 ， 这 一 理论 
却 受 到 了 学 术 界 的 普遍 质疑 。 有 学 者 认为 ,“ 随 机 漫步 理论 是 非 第 错误 
的 ， 股 市 交易 作为 目 然 界 的 一 个 群体 活动 是 有 着 显著 规律 的 ， 头 部 和 奈 
部 形成 都 有 着 惊人 的 一 致 规律 ， 营 握 股 市 规律 的 多 少将 决定 你 掌握 财富 
的 多 少 。 所 以 说 ， 市 场 不 是 没有 规律 ， 而 是 缺少 发 现 规律 的 眼睛 ”。 


随机 漫步 理论 认为 大 数据 技术 下 能 够 发 现 和 确定 的 规律 对 于 具体 的 
决 筑 问题 是 没有 效果 的 ， 随 机 漫步 理论 更 加 侧重 的 是 规律 之 外 的 波动 问 
题 。 原 因 主 要 是 信息 不 对 称 的 干扰 。 市 场 的 变动 可 能 是 有 规律 可 循 的 ， 
无 论 是 学 界 还 是 业界 都 想 运 用 各 种 数理 统计 方法 以 及 大 数据 等 方法 进行 
分 析 ， 但 是 总 体 来 说 ， 研 完成 采 仍 然 是 沛 后 市 场 一 步 甚至 好 几 步 的 。 如 
打 我 们 把 目标 聚焦 于 个 体 投资 者 ， 股 市 变动 的 随机 性 就 显得 更 加 严重 。 
因为 ， 投 资 者 分 析 市 场 ， 信 息 永 远 是 不 全 面 的 。 而 且 在 不 全 面 的 信息 的 
基础 上 ， 信 息 还 是 一 直 乱 序 变动 的 。 这 样 ， 不 管 你 怎么 分 机， 结果 都 不 
可 能 真正 准确 ， 市 场 的 表现 可 能 偶尔 与 你 的 预测 一 致 ， 这 只 能 说 是 你 的 





























运气 与 实力 的 绝妙 综合 ， 是 可 遇 而 不 可 求 的 。 


(二 ) 随机 漫步 理论 选 股 





什么 是 一 只 好 股票 ? 简单 粗暴 的 答案 也 许 就 是 : 股价 越 来 越 高 的 股 


那么 我 们 如 何 能 够 准确 预测 未 来 股价 的 走向 呢 ? 在 这 里 举 个 例子 进 
行 说 明 。 

给 你 某 一 只 股票 的 实时 价格 数据 ， 让 你 预测 1 分 钟 、5 分 钟 、10 分 钟 
后 的 涨 跌 情况 ， 你 可 以 “有 买 涨 ?或 者 “ 买 跌 ”..…. 猜 对 了 ， 连 本 带 利 总 计 
180% 的 回报 ， 猿 错 了 ， 全 赔 。 在 这 种 情况 下 ， 原 本 50% 的 “准确 率 ” 已 经 
无 法 让 你 全 身 而 退 了 。 如 果 你 希望 在 这 种 设 定 下 ， 依 然 能 够 “长 期 ?并 
且 * 稳 定 ? 地 赚 到 钱 ， 至 少 要 保证 有 超过 70% 的 预测 准确 率 。 而 这 几乎 是 
不 可 能 的 事情 ， 也 就 是 说 ， 基 于 你 对 这 只 股票 的 历史 数据 的 钻研 得 出 的 
决策 结果 可 能 对 选择 股票 并 没有 什么 实质 性 的 帮助 。 

实际 上 ， 跟 前 面 所 说 的 是 一 样 的 ， 我 们 认为 选取 股票 是 一 场 技术 与 
运气 兼备 的 修行 。 这 几乎 是 一 个 超出 我 们 认 知 范围 的 问题 ， 因 为 市 场 波 
动 的 影响 因素 太 过 复杂 ， 且 随 着 国情 、 社 会 事件 、 政 治 因素 以 及 发 展 阶 
段 等 情况 而 变 得 越 来 越 复杂 且 难 以 掌控 。 即 使 是 一 个 像 上 帝 一 样 明 察 秋 
写 的 天 才 证 券 分 析 师 也 不 能 保证 做 出 正确 的 决定 。 更 为 重要 的 是 ， 市 场 
是 由 无 数 个 参与 者 构成 的 ， 而 人 的 决策 不 可 能 永远 保持 在 一 个 理性 水 平 
上 ， 更 符合 实际 的 情况 是 市 场 上 同时 有 很 多 人 在 犯错 误 ， 引 发 了 市 场 的 
不 规则 变动 。 市 场 的 变动 是 由 无 数 个 参与 者 的 最 终 行 为 所 决定 的 ， 而 每 
个 参与 者 行为 决策 背后 的 判断 因素 是 他 人 无 法 掌握 和 应 对 的 ， 而 这 些 市 
场 变动 最 终 会 影响 你 的 损失 和 获 利 情况 。 

但 是 随机 漫步 理论 并 不 等 于 告诉 投资 者 : 你 别 分 析 股 票 了 ， 闭 着 眼 
青 撕 ;飞镖 吧 。 它 更 加 接近 于 告诉 投资 者 转换 思维 ， 因 为 世界 上 仍然 有 很 





























多 优秀 的 投资 者 因为 能 够 更 加 准确 地 洞悉 市 场 ， 选 择 有 效 的 金融 工具 和 
风险 对 冲 工具 来 应 对 市 场 的 变动 。 比 如 ， 巴 菲 特 、 索 罗斯 这 样 优秀 的 投 
资 家 ， 即 使 是 他 们 ， 也 不 能 保证 收益 可 以 一 成 不 变 的 稳定 ， 在 茶 一 阶段 
他 们 的 利润 经 常会 大 幅 流动， 但 他 们 可 以 运用 有 效 的 投资 组 合 、 资 金管 
理 来 获得 相对 稳定 的 高 于 他 人 或 市 场 的 平均 收益 。 我 们 通常 读 很 多 解读 
这 些 投资 大 家 的 著作 ， 都 会 被 他 们 所 狼 就 的 经 济 帝 国 所 折服 ， 认 为 只 有 
有 钱 人 才能 采取 这 样 的 方式 变 得 更 有 钱 ， 没 钱 的 普通 人 根本 没有 这 个 胆 
识 和 鳗 力 一 掷 千金 去 购买 很 多 对 剖 的 产品 。 其 实 巴菲特 他 们 也 是 用 一 种 
小 数据 思维 来 解决 这 个 问题 : 整个 市 场 系统 能 不 能 被 我 所 擎 握 ? 在 可 以 
掌握 的 信息 的 推动 下 我 选择 一 些 产品 进行 投资 ， 以 防 万 一 我 再 购买 一 些 
反问 变动 的 产品 进行 风险 对 冲 ， 可 能 短期 来 看 我 整体 的 获 利 没有 那么 丰 
厚 ， 但 我 却 能 够 更 加 从 容 淡 定 地 读 取 市 场 的 变动 然后 进行 调整 。 

对 于 普通 的 投资 者 来 说 ， 巴 菲 特 的 实际 投资 行为 可 能 是 我 们 无 力 效 
仿 的 ， 但 是 他 对 于 市 场 的 认识 和 对 于 目 己 风险 容 怒 程度 的 认识 是 非 第 清 
晰 和 透彻 的 。 在 这 里 ， 我 们 可 以 将 小 数据 思维 尹 接 过 来 ， 把 选取 股票 这 
件 事 转化 为 选取 企业 ， 可 能 会 让 投资 者 的 思路 更 加 开阔 和 明确 。 这 个 世 
界 一 直 在 进步 ， 经 济 也 一 直 在 发 展 。 在 这 个 前 提 下 ， 有 些 企业 就 是 可 以 
做 到 和 世界 一 起 进步 ， 尽 管 数 量 没 有 那么 多 ， 但 是 也 绝对 不 少 。 所 以 股 
价 最 终 体现 的 其 实 是 企业 价值 的 增长 。 而 判断 一 个 企业 优质 与 否 的 最 有 
效 方式 之 一 就 是 研究 公司 财报 。 一 家 公司 的 财报 好 比 体检 报告 ， 我 们 可 
以 从 中 该 到 很 多 东西 。 只 要 搞定 了 “财报 ”这 一 件 事 ， 你 就 可 以 独 目 踏 
上 “寻找 优质 公司 之 路 "了 。 就 好 像 当 你 学 会 了 如 何 碍 词典 之 后 ， 从 茶 种 
程度 上 你 已 经 不 需要 英语 老师 了 ， 因 为 你 有 了 “独自 上 路 * 的 能 


里 然 我 们 对 随机 漫步 理论 的 优 缺 点 的 研究 不 是 很 多 ,但 其 实 我 们 不 
必 将 其 正确 与 否 看 得 太 重 要 ， 认 识 到 随机 漫步 的 存在 并 且 理 解 它 的 作用 
就 够 了 。 随 机 漫步 带 给 我 们 的 最 大 局 示 是 : 随时 提醒 我 们 顺应 市 场 的 发 
展 趋 势 并 根据 实际 情况 不 断 修 正 ， 殉 服 主观 脐 断 或 育 目 目 信 。 






























































一 、 大 数据 时 代 隐 人 忧 


(一 ) 大 数据 的 壮 起 之 道 


《删除 》 一 书 曾经 提出 :“ 遗 筷 ， 是 人 类 的 天 性 。 从 古人 至今， 人们 
不 断 符 试用 本 能 、 语 言 、 绘 国 、 文 本 、 媒 体 、 人 介质， 来 记 住 我 们 的 知 
识 。 生 年 以 来 ， 簿 筷 始终 比 记 忆 更 简单 ， 成 本 也 更 低 。 而 数字 时 代 颠 才 
了 这 一 切 ， 我 们 尺 情 地 发 现 ， 如 果真 的 记 住 一 切 ， 不 但 令 人 友 狂 ， 而 且 
让 人 孤独 绝望 …...” 


坚 无 疑问 ， 现 代 技 术 已 经 从 根本 上 改变 了 能 够 被 记 住 的 信息 的 内 
容 ， 改 变 了 记 住 信息 的 方式 ， 也 改变 了 记 住 信息 所 需要 付出 的 代价 。 技 
术 并 没有 迫使 我 们 去 记忆 ， 技 术 只 是 促进 了 遗 乓 的 终止 。 完 善 的 数字 化 
记忆 ， 可 能 会 让 我 们 失去 一 项 人 类 重要 的 能 力 一 一 决 朱 能 力 。 

博 尔 赫 斯 的 短篇 小 说 《 博 闻 强 识 的 富 内 斯 》 体 现 了 这 一 论点 。 由 于 
次 骑马 的 事故 ， 年 轻 人 宇内 斯 失去 了 遗 环 的 能 力 。 通 过 惊人 的 阅读 ， 
他 积累 了 大 量 关 于 经 典 文学 作品 的 记忆 ， 但 却 无 法 超越 字面 的 意思 去 领 
会 作品 的 内 涵 。 一 旦 我 们 拥有 了 完善 的 记忆 ， 我 们 将 不 能 进行 概括 与 抽 
象 化 ， 这 会 让 我 们 一 直 迷 失 在 过 去 的 琐 雁 细节 中 。 

一 个 真实 和 案例， 在 《研究 者 》 的 报告 中 ， 一 位 病人 简称 为 AJ， 她 是 
美国 加 州 一 位 41 风 的 妇女 ， 天 生 惑 没有 遗 筷 的 能 力 。 目 她 11 风 开始， 她 
几乎 能 记 住 每 天 发 生 的 事情 一 一 她 记 住 的 不 是 过 去 一 天 的 大 致 感觉 ， 而 
是 能 够 怀 人 地 记 住 让 她 苦恼 的 详细 细节 。 她 清楚 地 记得 ，30 年 前 的 一 次 
早餐 吃 了 什么 ， 她 能 够 回忆 起 谁 在 什么 时 候 给 她 打 了 电话 :她 能 够 记得 
在 20 世 纪 80 年 代 看 过 的 电视 节目 每 一 段 都 沉 了 什么 。 她 甚至 不 需要 努力 
地 回忆 就 能 想起 这 些 。 记 忆 对 她 而 言 很 简单 一 一 她 的 记忆 是 “不 可 控 且 









































自动 的 "， 就 像 一 部 “永远 不 会 停止 的 "电影 。 

然而 这 带 给 AJ 的 并 不 是 超常 的 能 力 ， 恰 恰 相反 ， 她 的 记忆 不 断 地 限 
制 了 她 做 决定 与 前 进 的 能 力 。 她 记 住 的 信息 包括 自己 经 历 的、 感觉 到 的 
以 及 想到 的 事情 。 那 些 在 存储 与 回忆 大 量 信息 方面 拥有 超常 能 力 的 人 ， 
其 实 很 想 关闭 他 们 记忆 往事 的 能 力 ， 至 少 是 想 暂时 关闭 。 持 续 浮现 的 往 
事 让 他 们 感觉 受到 了 束缚 ， 这 种 束缚 非常 严重 ， 以 至 约束 了 他 们 的 日 党 
生活 ， 限 制 了 他 们 的 决策 能 力 ， 阻 碍 了 他 们 与 正常 人 建立 紧密 的 联系 。 
当 这 种 影响 由 更 为 完整 且 更 易 获取 的 外 部 数字 化 记忆 所 引起 时 ， 影 响 可 
能 会 更 强 。 

如 果 回忆 太 清晰 ， 即 便 这 种 回忆 是 为 了 帮助 我 们 的 决策 ， 可 能 也 会 
使 我 们 困 于 记忆 之 中 ， 无 法 让 往事 消逝 。 完 美的 记忆 使 我 们 暴露 在 过 
滤 、 选 择 和 解释 的 挑战 前 ， 而 遗忘 通常 会 使 我 们 免 于 挑战 








三 外 仇 酉 的 肖 我 忆 志 


一 直 以 来 ， 大 数据 里 杂乱 的 、 非 结构 化 的 数据 都 是 企业 数据 治理 的 
心腹 之 患 。 尺 管 许 多 企业 竭尽 所 能 保留 下 来 了 各 种 客户 、 内 部 流程 及 运 
营 方 面 的 数据 ， 但 是 将 这 些 裸 数据 变 成 可 供 商 业 智 能 及 分 析 平 台 处 理 的 
东西 却 十 分 地 耗 时 耗 力 。 气 估计， 数据 科学 家 80% 的 时 间 耗 在 了 数据 清 
理 方面 。 从 这 个 角度 来 说 ， 数 据 科 学 家 这 一 职业 似乎 叫 IT 芍 领 工人 更 合 
适 。 而 且 ， 与 数据 科学 家 的 供应 量 相 比 ， 数 据 的 规模 只 会 越 来 越 大 ， 复 
杂 上 度 只 会 越 来 越 高 ， 而 现在 要 求 数据 转换 要 以 近乎 实时 速度 去 处 理 ， 靠 
人 去 完成 那 种 规模 的 劳动 密集 型 工作 几乎 是 不 可 能 的 。 


与 大 数据 相 比 ， 小 数据 集 是 指 那些 通过 分 析 大 数据 集 得 出 的 具有 特 
殊 属 性 的 小 数据 的 集合 ， 这 些 数据 足以 找 出 企业 当前 的 问题 ， 并 可 得 出 
可 行 的 解决 方案 。 换 名 话说， 小 数据 集 是 可 以 给 企业 提供 可 访问 和 易 理 
解 的 数据 集 ， 以 保证 企业 能 得 到 及 时 、 直 观 的 数据 支持 ， 且 不 需要 使 用 
局 深 的 拉 术 和 郧 贵 的 工具 来 处 理 大 数据 。 这 样 企业 就 可 以 通过 分 析 小 数 











扼 集 的 方式 间接 挖掘 出 大 数据 中 强 藏 的 宝藏 ， 并 同样 能 得 出 大 数据 的 结 


论 。 





目前 ， 越 来 越 多 的 企业 开始 青睐 小 数据 ， 一 些 企业 的 管理 者 直言 
道 : 

“把 目 己 放 低 ， 先 做 好 小 数据 ， 因 为 小 数据 对 企业 往往 是 最 有 价值 
的 ， 尤 其 是 制造 业 。” 


“别人 做 大 数据 ， 我 们 做 小 数据 ， 而 且 要 把 小 数据 做 得 越 来 越 小 。” 

“战略 非常 重要 ， 但 它 是 急 不 起 来 的 。 做 好 小 事 促 成 道上 的 正确 ， 
坚持 不 被 形势 腐化 。” 

“ 当 你 做 到 全 世界 成 本 最 低 、 劳 动 效 率 最 高 、 能 耗 最 低 、 投 资 最 
少 ， 谁 还 会 去 关心 经 济 是 上 行 还 是 下 行 。” 

“明道 而 非常 路 ， 坚 持 做 小 事情 ， 习 术 要 善 修正 。” 

而 在 市 场 上 ， 一 些 企业 则 利用 前 期 对 小 数据 进行 采集 与 运用 ， 通 过 
前 期 管控 的 方式 降低 企业 整体 的 运营 成 本 ， 实 现 企业 的 省 钱 之 道 。 

比如 ， 分 豆 教育 是 在 线 教育 领域 中 运用 小 数据 思维 收集 学 生 数 据 的 
典范 。 分 豆 教育 主要 做 的 是 K12 (从 学 前 教育 至 高 中 教育 ) 教育 ，K12 
的 核心 是 学 生 ， 因 此 在 学 生 数 据 的 来 源 上 ， 分 豆 教 育 就 定位 到 了 学 生 学 
习 最 主要 的 三 个 场景 : 校内 学 习 场 景 、 校 外 培训 场景 和 上 自身 学 习 场 景 。 
而 校内 学 习 场 景 ， 占 据 整 个 学 习 时 间 的 绝 大 部 分 。 因 此 它 的 小 数据 获取 
校内 是 最 主要 的 来 源 。 这 也 使 分 豆 教育 在 生源 获取 成 本 上 要 低 于 同 
业 竞 争 对 手 许多 。 

此 外 ， 还 有 一 类 企业 则 是 依靠 大 数据 提炼 后 的 小 数据 ， 利 用 小 数据 
分 析 去 改善 企业 原 有 的 业务 模式 ， 通 过 小 数据 提高 投入 产 出 比 ， 摊 薄 企 
业 的 整体 运营 成 本 ， 实 现 企业 的 省 钱 之 道 。 

比如 ， 百 事 可 乐 的 做 法 很 简单 ， 它 们 希望 花 的 每 一 分 钱 都 有 所 回 
报 ， 所 以 它们 直接 购买 了 社交 信息 优化 推广 公司 SocialFlow 的 服务 ， 利 





























用 SocialFlow 对 数据 的 分 析 ， 从 而 知道 何 种 营销 活动 的 传播 效果 更 好 。 
而 广告 主 也 越 来 越 喜 欢 为 类 似 SocialFlow 的 服务 付费 ， 基 于 海量 数据 分 
析 然 后 得 出 小 数据 结论 以 改善 企业 的 营销 行为 。 

小 数据 在 个 人 应 用 方面 同样 有 效 。 王 建 锋 是 某 综合 类 网 站 的 编辑 ， 
基于 访问 量 的 考核 是 编辑 每 天 都 要 面 对 的 事情 。 但 在 每 年 的 评比 中 ， 他 
都 号 称 是 PV 页 面 浏览 量 ) 王 。 原 来 他 的 秘密 就 是 只 做 热点 新 闻 。 王 
建 锋 养 成 了 看 百度 搜索 风云 榜 和 搜狗 热 搜 榜 的 习惯 。 所 以 ， 他 会 优先 挑 
选 热 搜 榜 上 的 新 闻 事 件 来 编辑 整理 ， 关 注 的 人 自然 多 。 搜 狗 拥 有 输入 
法 、 搜 索引 擎 ， 那 些 在 输入 法 和 搜索 引擎 上 反复 出 现 的 热 词 ， 就 是 搜狗 
热 搜 榜 的 来 源 ， 也 是 大 数据 精简 后 的 小 数据 。 王 建 锋 通过 对 小 数据 的 对 
比 ， 就 能 够 找 出 哪些 是 网 民 关 注 的 热点 。 























二 、 让 遗忘 回 归 常 态 


(一 ) 不 挥 大 数据 ， 回 忆 小 数据 


大 数据 有 能 力 窗 盖 我 们 的 记忆 ， 并 可 能 会 影响 我 们 的 判断 。 小 数据 
则 远 不 及 大 数据 那样 浩瀚 或 杂 ， 有 时 甚至 只 是 零星 的 弱 信 号 ， 往 往 被 淹 
没 在 噪声 中 。 但 正 因为 如 此 ， 它 们 往往 能 让 我 们 回忆 起 很 有 价值 的 信 
自 
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有 一 天 晚上 珍妮 在 家 ， 她 收 到 了 约 其 发 来 的 一 封 电 子 邮 件 。 她 认识 
约 朝 20 年 了 ， 但 是 近 5 年 她 可 能 只 见 过 他 几 面 。 在 她 的 记忆 中 ， 由 于 约 
坦 曾 经 很 无 趣 ， 他 们 相处 得 并 不 愉快 。 


现在 ， 约 瑚 发 来 电子 邮件 说 他 将 要 出 席 一 个 会 议 ， 而 珍妮 也 将 要 在 
这 个 会 议 上 发 言 ， 所 以 他 想 问 问 珍 妮 到 时 是 否 有 时 间 一 起 喝 杯 咖啡 。 珍 
妮 并 没有 兴趣 ， 因 为 在 她 的 记忆 中 约 鞠 是 个 无 趣 的 人 。 


珍妮 无 意 地 搜索 她 的 邮件 文件 来 ， 几 秒 钟 之 内 ， 显 示 出 了 好 多 邮 
件 ， 时 间 几 乎 跨越 了 10 年 ， 邮 件 按 日 期 整齐 地 排列 着 ， 最 早 的 邮件 显示 
在 最 顶端 ， 她 迅速 地 浏览 了 这 些 邮 件 。 

随 着 邮件 在 眼前 一 内 而 过 ， 她 偶然 友 现 了 一 封 完全 不 同 的 邮件 ， 义 
起 她 无 限 回 忆 : 他 们 周末 去 海 泥 忽 风 时 约翰 驾驶 看 时 暑 汽 车 ， 他 那 丑陋 
的 山 辛 胡子 以 及 她 最 终 如 何 成 功 地 说 服 约翰 刹 挥 了 它 。 多 么 有 趣 的 时 光 
啊 ! 她 又 重读 了 其 他 几 封 往来 的 邮件 ， 她 想起 了 自己 当时 那 种 泪 福 的 感 
觉 ， 这 让 她 犹豫 不 决 ， 甚 至 她 已 经 不 确定 为 什么 后 来 他 们 竟 发 展 成 那 
。 她 脑海 中 关于 老 朋友 约 参 的 美好 形象 一 下 被 回忆 起 来 。 珍 妮 甚 至 在 
!,， 过 几 分 钟 我 该 如 何 跟 他 喝 咖 啡 呢 ? 如 今 ， 珍 妮 已 经 很 难 再 拒绝 约 驳 
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并 六 


的 邀请 了 。 


珍妮 的 反应 是 人 之 常情 ， 也 是 典型 的 从 大 数据 记忆 到 小 数据 回忆 的 
经 典 和 案例。 小 数据 的 刺激 改变 了 我 们 原本 完整 的 记忆 ， 让 我 们 更 加 专注 
于 目 己 所 愿 回忆 起 的 事物 。 这 也 恰恰 说 明了 即便 在 大 数据 时 代 ， 我 们 仍 
有 条 件 选择 对 大 数据 进行 遗忘 ， 而 记 住 并 掌握 那些 我 们 更 想 了 解 的 小 数 
据 。 








(二 ) 小 数据 的 取舍 之 道 


维克托 在 新 作 《 大 数据 时 代 》 中 对 大 数据 进行 了 详细 的 解释 ， 大 数 
据 只 是 客体 ， 本 里 并 不 能 决定 自己 有 用 还 是 无 用 。 有 用 还 是 无 用 ， 是 相 
对 于 主体 来 说 的 。 对 人 有 意义 的 数据 ， 就 是 对 像 ， 就 是 该 保存 的 回忆 
对 人 没 意 义 的 数据 ， 束 是 应 去 掉 的 石料 ， 束 是 该 删除 的 垃圾 。 所 以 大 数 
据 的 取舍 之 道 ， 是 把 有 意义 的 留 下 来 ， 把 无 意义 的 去 掉 。 

那么 小 数据 的 取舍 之 道 ， 我 们 认为 则 是 把 个 性 化 的 留 下 来 ， 把 非 个 
性 化 的 交 给 大 数据 。 


个 性 化 数据 是 在 新 的 市 场 环境 中 企业 迫切 需要 的 一 种 新 的 数据 模 
式 ， 它 更 贴近 于 个 体 的 独特 需求 ， 类 似 于 “ 量 映 定制 ”。 在 大 数据 发 展 势 
头 迅猛 的 今天 ， 企 业 有 更 多 的 机 会 去 了 解 消 费 者 ， 甚 至 会 比 消费 者 目 己 
还 要 了 解 其 需求 。 因 此 ， 企 业 根据 用 户 需 求 的 多 样 化 ， 开 始 深耕 顾客 需 
求 市 场 ， 把 目光 转 同 个 性 化 医疗 、 个 性 化 教育 、 个 性 化 就 业 等 方面 ， 通 
过 小 数据 分 析 为 顾客 量 身 定制 产品 。 换 名 话说 ， 个 性 化 数据 为 用 户 提供 
他 们 想 要 的 产品 和 服务 ， 将 是 未 来 红利 中 最 具 价 值 的 财富 。 

相反 ， 那 些 非 个 性 化 的 数据 ， 既 不 能 提取 出 用 户 独 有 的 特征 ， 又 不 
能 满足 清晰 、 客 观 地 观察 世界 的 视角 的 需求 ， 更 适合 复 用 。 复 用 的 结果 
最 终 就 是 同 质 化 ， 但 其 数据 结果 也 将 更 稳定 ， 预 测 曲线 也 将 更 平稳 ， 由 
此 也 就 无 须 人 们 再 去 对 数据 进行 干预 以 及 再 去 记 住 它 ， 这 束 是 所 谓 的 大 

















数据 产业 。 


目前 ， 大 数据 产业 还 处 于 发 展 初期 ， 市 场 规模 较 小 。 而 个 性 化 数据 
通过 对 大 数据 的 挖掘 、 分 析 和 利用 ， 可 以 实现 数据 增值 ， 让 数据 价值 实 
现 最 大 化 ， 并 且 它 的 作用 越 来 越 明 显 ， 可 以 改变 过 去 发 展 靠 劳 动力 、 现 
在 发 展 徘 数据 资源 的 局 面 ， 有 利于 将 数据 资源 转化 为 友 展 红利 。 











三 、 让 精简 成 为 王道 


(一 ) 大 数据 时 代 精 简 的 艺术 


《精简 一 一 大 数据 时 代 的 商业 制胜 法 则 》 一 书 曾 提 出 : 我 们 每 个 人 
都 面 对 着 一 个 严重 的 问题 ， 那 就 是 生活 在 一 切 都 过 量 的 世界 。 这 样 的 过 
量 令 我 们 室 旧 。 我 们 所 做 的 每 一 个 困难 的 决定 本 质 上 都 关乎 三 个 艰难 的 
抉择 : 继续 还 是 忽略 、 取 还 是 舍 、 做 还 是 不 做 。 精 简 的 艺术 就 是 ， 当 你 
以 正确 的 方式 舍弃 了 恰当 的 元 素 时 ， 往 往 拨 开 云 筋 见 明月 ， 收 到 事 半 功 
倍 的 效果 。 

大 数据 时 代 ， 一 切 都 有 着 过 量 的 功能 与 选择 ， 唯 独 缺 乏 最 佳 的 体 
验 。 很 多 企业 因 “ 精 简 ” 取 得 了 令 人 瞩目 的 成 功 ， 不 仅 让 品牌 家 喻 户 晓 ， 
也 改变 了 人 人 们 的 生活 方式 。 比 如 ， 苹 果 公 司 生 产 的 Pod、iPhone、 
iPad， 以 其 精简 、 优 雅 的 外 形 设 计 和 用 户 体验 风靡 世界 ， 引 起 全 球 争 
抢 ;， 谷歌 那 极 简 的 搜索 首页 仅 用 一 个 输入 框 连接 用 户 与 世界 ， 成 为 互联 
网 史上 的 经 典 ， 亚马逊 凭借 精简 的 “一 键 下 单 ? 功 能 成 为 全 球 最 大 电子 商 
城 。 品 牌 咨询 管理 公司 思 窒 高 发 现 ， 消费 者 更 愿意 为 简单 的 体验 支付 更 
高 的 价格 : 平均 愿意 多 支付 3%~4.1% 的 人 价格。 如今， 人 们 更 想 从 产品 或 
服务 本 身 之 外 获得 更 好 的 用 户 体验 ， 因 此 企业 必须 在 产品 和 服务 的 功能 
和 选项 上 做 得 更 精简 一 些 。 

如 今 , “精简 ”这 件 事 已 经 越 来 越 多 地 出 现在 企业 的 产品 开发 过 程 
中 ， 通 过 对 用 户 数据 的 分 析 ， 了 解 用 户 使 用 产品 时 的 目的 ， 这 些 产品 会 
包括 更 多 的 特性 、 选 择 和 功能 ， 并 且 ， 这 些 产品 同样 做 得 很 精简 。 

作为 2015 年 手机 界 新 人 ，ZUK 以 黑马 的 姿态 杀 入 手机 市 场 ， 超 高 的 
性 价 比 让 Z1 赢 得 了 消费 者 的 青睐 ， 在 强 敌 林立 的 “ 双 11” 大 促销 中 取得 了 

















矣 人 的 战绩 ， 该 球 手 机 在 硬件 方面 仅 提 供 一 种 版 本 选择 ， 让 用 户 无 须 在 
电信 4G/ 联 通 4G/ 双 4G， 或 16G/32G/64G 间 做 选择 ， 直 接 提供 给 用 户 全 网 
通 64G 的 最 优 版 本 。ZUK 手 机 CEO 常 程 透露 ， 做 产品 最 重要 的 就 是 简 
单 ， 让 人 能 够 一 目 了 然 。 而 其 公司 第 一 蒜 手 机 ZUK Z1， 可 以 说 也 的 确 
处 处 包含 了 常 程 的 以 “简单 ”为 核心 的 产品 理念 。 


(二 ) 小 数据 带 来 全 新 的 快感 体验 


小 数据 ， 既 是 对 大 数据 的 一 种 精简 ， 同 时 也 是 对 生活 、 对 工作 、 对 
服务 的 一 种 精简 。 利 用 小 数据 ， 我 们 发 现 原 来 工作 也 可 以 这 么 高 效 ， 那 
些 复杂 的 流程 原来 并 不 需要 那么 复杂 ， 用 户 服务 竟然 也 可 以 如 此 简单 。 
而 相应 地 ， 无 论 是 用 户 还 是 我 们 上 自身， 都 将 会 得 到 一 种 全 新 的 快感 体 
验 。 


例如 ，2014 年 12 月 9 日 , “央视 新 闻 ” 微 信 公 众 号 图 解 新 闻 的 推送 专 
栏 由 “一 图 解读 ”变更 为 “一 图 ”， 更 加 精简 的 栏目 名 称 预示 着 图 解 新 闻 对 
文本 内 容 的 呈现 减少 ， 转 而 更 多 地 倚重 交互 性 图 表 实 现 文本 和 数据 的 可 
视 化 ， 进 而 把 抽象 枯燥 的 信息 具象 化 来 适应 更 加 多 元 的 新 闻 报 道内 容 。 
图 解 新 闻 通 过 简洁 、 美 观 、 交 互 的 扁平 化 UI 设计 (或 称 界面 设计 ) ， 可 
以 让 新 闻 信 息 在 数 读 美 图 中 清晰 展现 ， 将 大 数据 的 海量 信息 整合 为 直观 
易 懂 的 可 视 性 视觉 图 片 的 小 数据 ， 从 而 为 受众 带 来 更 加 多 元 的 新 闻 阅 读 
体验 。 


“一 图 ”的 图 片 新 闻 报道 形式 主要 是 融合 不 同类 型 的 信息 数据 图 表 来 
进行 新 闻 内 容 的 可 视 化 呈现 。 图 表 主 要 有 以 下 几 类 : 























(1) 图 例 、 图 示 解 读 


图 例 、 图 示 的 数据 解读 模式 主要 是 运用 形象 图 例 和 简洁 文字 或 数 
据 ， 来 对 新 闻 的 数据 和 文本 扩容 进行 重新 解构 与 视觉 解读 ， 将 复杂 元 长 


的 数据 和 文本 形象 化 、 具 象 化 ， 达 到 视觉 传播 的 直观 效果 。 


(2) 交互 性 信息 图 表 


交互 性 信息 图 表 是 实现 新 闻 数 据 可 视 化 的 重要 手段 ， 它 依托 大 数据 
的 海量 信息 基础 ， 运 用 特殊 的 软件 程序 对 数据 进行 处 理 ， 把 文字 信息 转 
换 为 视觉 符号 和 类 型 图 表 ， 用 简洁 直观 的 视觉 化 方式 引导 读者 对 新 闻 事 
件 的 关注 和 思考 。 














(3) 数据 地 图 


数据 地 图 通常 以 电子 地 图 为 背景 ， 将 多 种 数据 图 文 信息 整合 其 中 ， 
多 用 于 灾难 新 闻 的 报道 。“ 央 视 新 闻 ” 微 信 公 众 写 所 推送 的 图 解 新 闻 受 手 
机 屏幕 大 小 的 限制 ， 此 类 数据 地 图 所 展现 的 图 示 多 为 局 部 、 小 范围 的 地 
图 ， 并 不 影响 其 对 新 闻 事实 和 数据 信息 的 直观 展示 。 











由、 从 细 市 预见 未 来 


(一 ) 让 小 数据 预见 未 来 


在 生活 上 ， 我 们 处 处 可 以 见 到 细节 影 响 成 败 的 案例 : 法 国 银行 大 王 
贾 库 : 拉 斐 萨 托 年 轻 时 曾 一 度 失 业 。 一 天 他 到 一 家 银行 求职 又 遭 拒绝 ， 
这 已 经 是 他 第 52 次 碰壁 了 。 当 他 垂头丧气 地 走出 银行 时 ， 忽 然 发 现 门 前 
台阶 上 有 一 枚 大 头 针 ， 就 弯 腰 近 了 起 来 。 没 想到 第 二 天 银行 发 来 了 录用 
通知 。 原 来 ， 昨 天 他 蹲 喘 捡 针 的 情景 恰好 被 这 家 银行 的 董事 长 看 见 。 在 
重 事 长 看 来 ， 从 事 银 行 工作 ， 需 要 的 正 是 拉 裴 萨 托 的 这 种 注意 细节 的 精 
神 。 从 此 ， 拉 斐 萨 托 赁 者 目 己 的 才干 和 努力 ， 终 于 在 法 国 银行 界 轿 露 头 
角 。 


美国 福特 公司 的 创始 人 至 利 :福特 ， 大 学 毕业 后 ， 去 一 家 汽车 公司 
应 聘 。 和 他 同时 应 聘 的 三 四 个 人 都 比 他 学 历 高 ， 当 前 面 儿 个 人 面试 之 
后 ， 他 觉得 自己 没有 什么 希望 了 。 但 既 来 之 ， 则 安之 。 他 敲 门 走 进 了 墓 
事 长 办 公 室 ， 一 进 办 公 室 ， 他 发 现 门口 地 上 有 一 张 纸 ， 弯 腰 拉 了 起 来 ， 
发 现 是 一 张 渍 纸 ， 便 顺手 把 它 扔 进 了 废 纸 黎 里 。 然 后 才 走 到 重 事 长 的 办 
公 果 前 ， 说 :“ 我 是 来 应 聘 的 福特 。” 董 事 长 说 :“ 很 好 ， 很 好 ! 福特 先 
生 ， 你 已 被 我 们 录用 了 。” 福 特 惊讶 地 说 :“ 董 事 长 ， 我 觉得 前 儿 位 都 比 
我 好 ， 你 怎么 把 我 录用 了? ”董事 长 说 :“ 福 特 先生 ， 前 面 三 位 的 确 学 历 
比 你 高 ， 且 仪表 堂堂， 但 是 他 们 眼睛 只 能 “看见 "大事 ， 而 看 不 见 小 事 。 
你 的 眼睛 能 看 见 小 事 ， 我 认为 能 看 见 小 事 的 人 ， 将 来 日 然 能 看 到 大 事 ， 
个 只 能 ‘看见 ' 大 事 的 人 ， 他 会 忽略 很 多 小 事 。 他 是 不 会 成 功 的 。 所 
以 ， 我 才 录 用 你 。” 福 特 就 这 样 进 了 这 家 公司 ， 这 家 公司 不 久 就 扬名 天 
下 ， 也 相应 改变 了 整个 美国 国民 经 济 状况 ， 使 美国 汽车 产业 在 世界 占据 



































鳌头 ， 福 特 把 这 家 公司 改名 为 "福特 公司 ”。 大 家 想 一 想 ， 这 张 废 纸 重 要 
不 重要 ? 看 得 见 小 事 的 人 能 看 见 大事 ， 但 只 能 “看 见 ”" 大 事 的 人 ， 不 一 定 
能 看 见 小 事 ， 这 和 是 很 重要 的 教训 。 


在 数据 应 用 领域 ， 道 理 其 实 是 一 样 的。 目前 小 数据 更 多 的 是 被 看 作 
为 “细节 预见 未 来 ”。 


例如 ， 一 家 零售 公司 可 以 利用 大 数据 的 分 析 ， 根 据 客户 的 俩 好 、 趋 
势 和 个 性 化 需求 制定 优惠 促销 策略 。 但 是 ， 如 果 没 有 传统 的 关键 绩效 指 
标 ， 如 收入 增长 、 利 洞 率 、 客 户 满意 度 、 客 户 忠 诚 度 和 市 场 占有 浆 等 小 
数据 指标 ， 公 司 将 不 能 判断 出 促销 策略 是 否 有 效果 。 许 多 企业 正 是 因为 
抓 住 了 这 些小 数据 指标 ， 才 得 以 实现 质 的 飞跃 。 

















二) 价值 就 在 小 数据 当中 





稀缺 性 是 经 济 学 的 第 一 定律 。 面 对 海量 数据 的 无 限 增长 ， 有 人 说 经 
济 学 过 时 了， 因为 越 来 越 多 的 财富 来 源 于 无 限 性 数据 ， 所 以 资源 将 不 下 
稀缺 。 错 ! 大 数据 作为 一 种 无 限 性 的 资源 ， 其 本 号 并 没有 价值 ， 数 据 的 
价值 是 由 终端 或 平台 的 使 用 者 创造 的 。 因 此 ， 相 对 于 海量 数据 的 无 限 增 
长 ， 由 使 用 者 创造 的 小 数据 更 加 稀缺 。 经 济 学 的 稀缺 性 定律 不 仅 没有 过 
时 ， 反 而 得 到 了 更 充分 的 验证 。 


例如 ， 微 博 上 有 一 则 新 闻 ， 一 小 伙 是 一 个 高 档 小 区 的 物业 管理 员 ， 
有 一 天 他 突 发 奇想 ， 上 自己 配 了 扫描 枪 ， 每 天 就 专 盯 独 这 个 小 区 的 垃圾 
堆 ， 看 见 有 条 形 码 就 扫描 ， 晚 上 回 家 把 这 些 收集 到 的 数据 整理 出 来 ， 得 
出 这 小 区 哆 什么 水 、 吃 什么 油 、 买 什么 衣服 之 类 的 小 数据 ， 对 整个 小 区 
的 消费 品类 偏好 和 品 脾 偏好 一 清二 楚 。 最 后 他 用 这 些小 数据 做 成 了 一 份 
报告 卖 给 大 公司 ， 报 告 价值 数 十 万 元 。 我 不 知道 这 条 微 博 的 真实 性 如 
何 ， 但 我 相信 如 果真 的 有 人 这 样 做 ， 这 份 报告 一 定 值 这 个 价钱 。 因 为 这 
个 人 用 这 些小 数据 创造 了 价值 ， 它 能 够 让 购买 者 比 其 他 人 更 了 解 这 个 小 
区 。 


























在 马云 提出 新 零售 时 ， 原 银泰 百货 总 经 理 厉 宁 就 提出 不 同 的 意见 。 
厉 宁 女 士 以 为 ， 马 云 自己 并 没有 做 过 零售 ， 所 谈 零 售 的 新 与 老 ， 包 悠 的 
成 分 较 大 。 不 是 你 在 互联 网 领域 做 成 功 了 ， 来 谈 零 售 或 做 零售 就 是 新 零 
售 ! 因为 在 零售 环节 ， 很 多 事 靠 所 谓 的 互联 网 思维 和 算法 根本 就 不 能 解 
决 问题 。 


厉 宁 女士 对 马云 是 否 民 新 零售 的 观点 正确 与 否 姑 且 不 论 ， 但 是 她 举 
的 例子 部 很 有 道理 ， 她 认为 只 有 小 数据 才能 解决 零售 的 问题 。 


(1) 今年 这 件 衣 服 卖 得 很 好 ， 明 年 还 要 继续 吗 ? 今年 夹 了 100 万 
件 ， 明 年 做 120 万 件 行 吗 ? 再 延伸 下 去 这 个 问题 也 非常 有 意思 ! 

(2) K 歼 今年 卖 得 不 好 ， 所 谓 的 大 数据 就 摆 在 那里 ， 能 解决 什么 
问题 ? 

商品 管理 是 实 实在 在 的 小 数据 管理 ， 需 要 的 是 非常 传统 的 管理 方 
法 。 就 像 K 短 卖 得 不 好 ， 原 因 可 能 很 复 洒 ， 有 可 能 是 秋 式 本 刁 的 问题 ， 
即 设计 、 版 型 、 花 色 、 工 艺 等 设计 问题 所 致 ， 也 有 可 能 是 商业 经 验 的 问 
题 ， 即 投产 量 、 定 价 、 分 发 等 商业 管理 问题 所 致 ， 还 有 可 能 是 管理 能 
的 问题 ， 即 基本 质量 、 物 流 配 送 等 内 部 管控 问题 所 致 ， 或 者 是 销售 能 力 
的 问题 ， 即 现场 销售 等 系列 问题 所 致 。 


这 些 都 是 商品 管理 的 小 数据 出 现 了 问题 ， 而 依靠 所 谓 的 大 数据 ， 是 
不 可 能 知道 问题 的 真相 的 。 所 以 企业 最 需要 关注 的 并 不 是 大 数据 和 算 
法 ， 而 是 通过 小 数据 去 寻找 解决 这 些 经 营 过 程 中 出 现 的 具体 问题 的 方 
法 : 


























五 、 从 量化 目 我 开始 





(一 ) 成 为 最 了 解 目 己 的 专家 


吴 处 数据 爆炸 的 大 数据 时 代 ， 数 据 坚 无 疑问 变 成 了 生活 的 主导 ， 关 
于 量化 目 我 其 未 来 的 影响 力度 是 未 知 且 不 可 见 的 。 但 是 随 厦 时 间 的 流 
逝 ， 越 来 越 多 的 大 数据 被 量化 成 小 数据 ， 使 量化 目 我 取得 了 更 进一步 的 
发 展 ， 并 且 已 经 成 为 一 种 全 社会 的 普遍 行为 。 大 家 都 非常 乐意 通过 量化 
目 我 ， 成 为 最 了 解 目 己 的 专家 。 

量化 自我 对 我 们 的 影响 最 显而易见 的 就 是 可 穿戴 设备 的 普及 ， 我 们 
正在 步 入 一 个 新 的 科技 测 流 ， 曾 以 为 这 些 高 科技 的 东西 因为 其 装备 的 高 
价 ， 会 让 我 们 望而却步 。 但 是 不 知 从 什么 时 候 起 ， 各 种 监测 软件 横 空 出 
世 ， 测 量 运 动 的 、 监 测 睡 眠 质量 的 、 记 录 学 习 时 间 的 、 记 录 阅 读 量 





























量化 目 我 结 下 了 不 解 之 缘 。 


量化 自我， 可 以 让 人 更 有 上 自 知 之 明 。Nike+ 个 人 速度 计 ， 通 过 鞋 里 
的 个 人 传感器 得 知 跑 步 的 速度 和 距离 ， Wii Fit 体 感动 作 游戏 ， 可 以 让 你 
和 家 人 朋友 进行 运动 竞赛 ， 还 有 很 多 包括 监测 睡眠 质量 之 类 的 量化 产 
品 。 通 过 这 些 新 兴 的 致力 于 量化 自我 的 科技 软件 ， 我 们 能 够 更 清晰 地 获 
得 自己 的 运动 数据 ， 不 同 于 平时 自己 赁 感觉 记录 的 各 种 数据 ， 这 些 与 软 
件 相 结合 的 运动 设备 ， 能 够 通过 监测 身体 的 各 项 指标 ， 通 过 号 体 的 微妙 
变化 ， 十 分 精准 地 记录 你 每 天 具体 的 运动 量 以 及 里 体 的 各 项 健康 指标 。 
使 我 们 对 目 身 身体 的 了 解 不 再 只 俘 留 在 感 党 上 ， 或 者 医院 体检 的 几 个 标 
识 上 ， 使 用 了 这 些 产 品 ， 你 可 以 随时 随地 得 到 具体 的 数字 ， 包 括 运动 、 
睡眠 等 方方面面 ， 和 擎 握 上 自己 的 第 一 手 健康 资料 ， 同 时 据 此 做 出 一 些 有 利 























于 健康 的 改变 。 例 如 ， 软 件 设 计 师 罗 宾 : 巴 罗 阿 通过 一 个 手机 应 用 程序 
来 测量 午饭 后 的 情绪 ， 借 此 发 现 不 同 食 物 对 自己 情绪 的 影响 。 他 用 这 种 
方法 成 功 减轻 7 了 20 公斤 体重 。 

量化 自我 在 某 种 程度 上 也 提高 了 人 的 积极 性 。 新 时 代 互 联网 的 发 展 
使 人 们 无 时 无 刻 不 在 进行 各 种 在 线 交 流 ， 使 我 们 轻而易举 可 以 获得 别人 
的 健康 指标 、 运 动 信息 。 当 我 们 看 到 别人 的 运动 量 远 远大 于 自己 时 ,或 
许 就 会 在 运动 时 更 有 动力 ， 当 我 们 看 到 别人 的 学 习 时 间 、 阅 读 量 远 远大 
于 自己 时 ， 就 会 认识 到 自身 的 不 足 ， 更 加 努力 。 因 为 ， 在 生活 中 ， 我 们 
很 难 感受 到 日 常 的 差异 ， 但 是 当 这 些 事 实 赤 裸 裸 地 以 数字 的 形式 清晰 明 
了 地 展现 在 我 们 的 面前 时 ， 我 们 就 会 认识 到 自身 和 别人 的 差异 ， 进 而 三 
省 吾 身 ， 见 贤 思 齐 ， 让 视野 更 加 广阔 ， 不 再 是 井 底 之 蛙 ， 从 而 更 有 利于 
激发 自身 的 潜力 。 

量化 自我 ， 也 是 新 一 代 商 机 。“ 健 康 “ 自 我 量化 ;再 获 干 万 级 融资 ， 曾 
推出 智能 体重 秤 、 血 压 计 及 Pulse 的 Withings 获 融资 3000 万 美元 ”这 样 的 
新 闻 越 来 越 频繁 地 出 现在 大 家 的 视野 中 ， 随 着 新 科技 的 发 展 ， 许 多 针对 
性 极 强 的 自我 量化 产品 也 应 运 而 生 ， 为 失眠 者 设计 的 睡眠 监测 产品 ， 为 
高 血压 患者 设计 的 自动 血压 监测 仪 ， 为 运动 爱好 者 设计 的 运动 检测 产品 
等 。 敏 锐 的 商家 抓 住 了 这 个 机 会 ， 把 这 些 东西 一 项 项 转化 为 巨大 的 利 
润 ， 利 用 先进 的 技术 ， 设 计 了 以 前 想 都 不 敢 想 的 产品 ， 满 足 人 们 需求 的 
同时 ， 既 引领 了 潮流 ， 又 增强 了 品牌 影响 力 ， 于 是 很 多 针对 性 极 强 的 产 
品 横 空 出 世 。 












































(二 ) 有 一 种 生活 叫 “ 量 化 目 我 ” 





在 生活 的 很 多 领域 中 ， 数 字 的 存在 天 经 地 义 : 账户 余额 、 租 金 、 竹 
售 汽 车 的 性 能 ， 所 有 这 些 都 应 该 用 准确 的 数字 表现 出 来 ， 而 不 只 是 用 模 
糊 的 概念 或 感觉 来 描述 。 在 私人 生活 中 ， 数 字 却 是 茶 忌 : 如 果 有 人 不 是 
写 日 记 ， 而 是 在 Excel 表 格 中 填写 数字 来 记录 每 天 的 生活 ， 肯 定 会 被 周 











围 人 认为 性 格 乖 俱 ， 甚 至 疾 狂 。 在 专业 体育 和 医疗 领域 ， 精 确 测量 身体 
数据 的 行为 早已 司空 见 惯 ,但 是 如 果 普 通 人 也 开始 在 日 第 生活 中 观察 目 


己 、 量 化 自己 ,会 怎样 呢 ? 


(1) 德国 汉堡 青年 菲利普 :卡尔 维 斯 现年 30 少 ， 热 谚 于 “量化 目 
我 >。 卡尔 维 斯 花 了 99 美 元 购 得 一 条 闭 感 应 器 的 束 发 融和 一 个 苹果 应 用 
程序 ， 戴 着 这 个 束 发 种 睡觉 就 可 以 获得 与 睡 虐 相 关 的 数据 并 把 数据 传送 
到 苹果 装置 中 。 他 的 体重 计 具 备 无 线 传输 功能 ， 可 把 体重 和 脂肪 等 数据 
即时 传 进 计算 机 或 手机 中 。 


比如 ， 某 一 天 他 量 得 走路 7361 步 ， 头 一 天 夜里 只 睡 了 4 个 小 时 ， 其 
中 1 个 多 小 时 是 深 睡 眠 。 然 后 卡尔 维 斯 每 天 都 根据 上 自己 的 测量 结果 调整 
自己 运动 和 睡眠 的 时 间 。 


如 今 ,，“ 量 化 自我 "已 经 成 为 卡尔 维 斯 每 天 生活 中 不 可 或 缺 的 一 部 









































(2) 美国 人 加 里 : 沃 尔 夫 (Gary Wolf〉 和 饥 文 : 纪 利 (Kevin 

Kelly〉2007 年 在 旧金山 创办 了 “量化 自我 ”网 站 

(www.quantifiedself.com) ， 倡 导 通 过 数字 了 解 上 自身 ， 如 今 有 20 多 个 国 
家 和 地 区 成 立 了 “量化 自我 ”团体 。 它 们 最 新 发 布 的 产品 包括 一 种 进食 速 
度 控制 又 子 ， 它 能 感应 使 用 者 咬 到 又 子 的 次 数 ， 发 觉 进餐 速度 过 快 就 发 
出 提示 音 。“ 量 化 自我 ”爱好 者 在 “量化 自我 ”网 站 上 发 布 自己 的 健康 数 
据 ， 与 他 人 交流 所 使 用 的 测量 方法 及 设备 。 很 多 了 商家 针对 这 一 群体 推出 
了 一 些 产 品 ， 现 阶段 可 在 “量化 自我 * 网 站 上 看 到 500 多 种 测量 健康 数据 
的 装置 或 应 用 信息 。 


德国 健 映 专家 贝 姬 特 丽 克 丝 : 赖 斯 认为 ， 这 些 应 用 “让 和 人们 以 玩 的 方 
式 进一步 了 解 目 里， 激 太 目 喘 实现 健康 目标 ”。 


而 继 “ 量 化 自我 ”网 站 之 后 出 现 不 少 类 似 网 站 ， 方 便 人 们 掌握 上 自己 的 
健康 状况 。 
(3) 28 岁 的 瑞士 人 布 业 恩 : 克 羔 恩 两 年 前 发 现 了 观察 自己 的 乐趣 。 









































除了 定期 监控 目 己 的 步 数 、 营 养 、 体 育 锻炼 和 文 出 情况 ， 他 还 重点 记录 
目 己 集中 注意 力 的 情况 和 工作 效率 。 


起 初 他 使 用 了 一 球 名 为 “拯救 时 间 ” 的 软件 ， 它 会 记录 他 每 时 每 刻 的 
动静 ， 包 括 他 在 计算 机 上 打开 了 什么 程序 、 在 哪些 页 面 用 了 多 长 时 
间 。“ 它 将 直观 的 数据 澡 无 保留 地 展现 在 我 眼前 ，” 元 莱恩 说 ,，“ 但 它 并 
非 总 是 能 够 说 明 真 实 的 效率 。? 比 如 ， 发 邮件 的 时 候 ， 他 可 能 在 有 效 利 
用 时 间 ， 也 可 能 在 虚度 光阴 ;浏览 新 闻 页 面 时 可 能 是 在 调查 研究 ， 也 可 
能 是 在 分 散 精力 。 

于 是 区 莱恩 开始 手动 记录 : 他 将 自己 的 工作 时 间 分 成 25 分 钟 的 小 
段 ， 连 续 记 录 目 己 在 做 什么 ， 专 注 程度 怎样 。 结 果 是 怀 人 的 : 短 短 半年 
的 时 间 ， 殉 莱恩 的 工作 效率 就 比 刚 开始 进行 记录 时 翻 了 一 番 。“ 在 有 意 
识 地 填 表 记 录 之 后 ， 我 才 真 正 意识 到 上 自己 浪费 了 多 少时 间 。” 元 业 恩 
说 。 

此 外 ， 量 化 自我 还 有 助 于 研究 生活 的 各 个 方面 之 间 的 紧密 联系 。 比 
如 ， 克 莱恩 每 周 毅 戒 一 天 ， 他 觉得 自己 这 天 注意 力 特别 集中 ， 也 非常 有 
效率 。 但 是 1 年 之 后 他 分 析 目 己 的 数据 ， 发 现 根本 不 是 这 样 。“ 但 我 内 心 
仍然 这 样 相信 着 ，” 克 业 因 说, “可 能 还 有 一 个 我 没有 考虑 到 的 影响 因 
吉 w 

尽管 如 此 ， 他 对 上 自己 的 实验 仍然 非常 满意 ， 它 不 仅 让 他 变 得 更 加 有 
效率 ， 同 时 也 帮助 他 制定 了 更 加 实际 的 目标 和 期 望 。“ 现 在 我 知道 ， 我 
在 一 定 的 时 间 内 能 够 做 到 哪些 ， 也 能 清晰 地 看 到 我 工作 上 的 进步 ， 我 觉 
得 这 非常 能 激 用 我 的 积极 性 。” 

除了 工作 效率 ， 克 业 恩 也 兽 用 一 个 脑 电 图 额 带 检 测 过 自己 的 睡 
虐 。“ 我 能 看 到 ， 我 只 在 前 2/3 时 间 处 于 深 展 睡 虐 和 半 睡 虐 阶 段 ， 清 展 基 
本 就 是 没 睡 着 的 状态 。” 于 是 他 决定 将 自己 的 睡 虐 时 间 由 平均 6 个 半 小 时 
减少 到 5 小 时 45 分 钟 ， 实 施 起 来 效果 非常 好 。 


如 今 ， 克 羔 恩 通过 每 天 量化 上 自我， 已 经 拥有 了 国民 经 济 学 和 哲学 贷 









































士 学 位 ， 目 前 刚刚 完成 了 他 的 心理 学 硕士 学 业 。 


(4) 来 自 柏 林 克 罗 伊 茨 贝 格 区 的 堆 尔 格 尔 : 迪 特 里 希 开 始 自 我 测量 
的 经 历 可 以 说 非常 典型 。 这 位 36 岁 的 技术 狂人 在 柏林 “量化 自我 小 组 ” 见 
面 会 上 说 : “我 听 人 说 起 这 些 能 测量 日 常生 活 各 种 数据 的 小 仪器 ， 心 想 
真是 酷 极 了 的 新 玩意 儿 。” 这 个 小 组 是 个 松散 的 组 织 ， 成 员 全 是 男人 ， 
他 们 每 两 个 月 碰面 一 次 ， 互 相交 流 自己 测量 了 什么 、 从 中 学 到 了 什么 。 
迪 特 里 希 给 我 们 看 他 的 Jawbone 手 环 和 一 个 追踪 器 ， 他 用 这 两 者 来 记录 
自己 的 日 常 活 动 。 该 小 组 很 多 人 都 在 手腕 或 腰带 上 戴 着 类 似 的 仪器 。 迪 
特 里 希 说 ， 他 很 快意 识 到 ， 他 很 少 做 到 仪器 推荐 的 健康 生活 方式 
天 1 万 步 。 


他 开始 更 多 地 步行 ， 不 久 开 始 慢 跑 。“ 我 开始 在 滕 珀 尔 霍 夫 区 跑 
步 。 在 此 之 前 ， 我 还 从 来 没有 锻炼 过 。” 这 位 网 络 顾问 说 , “最 初 只 是 因 
为 我 能 看 到 我 的 数据 记录 ， 慢 慢 地 我 发 现 ， 跑 步 能 给 我 带 来 快乐 。” 

迪 特 里 希 没 有 使 用 分 享 功能 ， 借 此 他 本 可 以 将 已 经 完成 的 慢跑 距 
离 、 疏 过 的 楼 梯级 数 或 消耗 的 卡路里 数 公 布 在 Facebook 或 Twitter 
上 。 “我 喜欢 观察 目 己 ， 而 不 是 和 他 人 做 比较 。 我 的 很 多 朋友 也 对 总 是 
有 人 刷 屏 公开 自己 信息 的 行为 感到 烦恼 。” 夏 天 他 会 开始 跑 半 程 马 拉 
松 。 如 果 没 有 这 些小 仪器 ， 他 可 能 不 会 发 现 运动 的 乐趣 。“ 有 了 时 我 会 收 
到 邮件 提醒 ， 比 如 ， 我 上 周 步行 距离 缩短 了 ， 或 是 周三 常常 运动 不 够 。 
这 是 个 很 好 的 著 集 ， 提 醒 我 以 后 注意 。” 

此 外 ， 他 还 开始 收集 关于 自己 的 其 他 数据 。“ 我 没有 具体 的 目标 ， 
也 没有 想 要 解决 的 问题 。” 他 说 , “了解 自 己 本 身 就 是 一 件 有 趣 的 事 
情 。” 比 如 ， 他 将 一 球 软 件 设 置 为 每 天 晚上 22 点 37 分 准时 给 他 发 送 一 份 
调查 问卷 ， 询 问 他 一 天 的 生活 情况 。“ 比 如 我 是 否 和 家 人 聊天 ， 是 否 喝 
酒 。” 这 是 一 些 驶 算 没 有 软件 记录 ， 他 也 清楚 知道 的 信息 。 “记录 下 来 ， 
能 够 更 好 地 审视 自己 。” 迪 特 里 希 说 ,， “比如 我 以 前 从 未 党 得 上 自己 喝 得 太 
多 ， 然 而 通过 观察 记录 ， 我 发 现 上 自己 几乎 每 晚 都 饮酒 过 量 。?” 他 得 出 的 
结论 是 : 禁酒 10 周 。 










































































他 承认 ， 这 种 观察 自己 的 角度 确实 有 些 滑 稿 : 真实 的 目 己 和 和 希望 成 
为 的 更 好 的 自己 之 间 划 清 了 界限 。“ 量 化 自我 正 是 一 种 自我 完善 的 方 
式 ， 最 终 目 标 是 能 够 接受 自己 的 现状 ， 这样 人 就 归于 完全 的 祥 境 了 。 妆 
然 ， 在 做 到 这 一 点 之 前 ， 我 还 是 先 秒 秒 跑 步 吧 。” 

(5) 在 上 自我 量化 运动 还 没有 发 展 为 今天 的 规模 时 ， 哥 欧 勒 尔 就 已 
经 开始 目 我 测量 了 。“10 年 前 我 参加 了 美国 大 学 生 篮 球赛 ，” 他 说 , “我 
们 定期 接受 专业 检查 ， 从 体 脂 、 弹 力 、 跳 路 力 到 血 常 规 。” 哥 次 勒 尔 认 
为 ， 正 是 那 时 的 经 历 油 发 了 他 用 数字 记录 里 体 的 热情 。 


和 和 霍 尔 格 尔 : 迪 特 里 希 、 布 羔 恩 : 克 羔 恩 一 样 ， 哥 次 勒 尔 也 是 当地 “ 量 
化 自我 小 组 ”的 成 员 。 他 认为 自我 测量 者 坦 城 而 友好 。“ 就 算是 新 人 ， 也 
会 很 快 受到 热烈 欢迎 。 每 个 人 都 喜欢 交流 ， 束 像 家 庭 成 员 一 样 杀 
密 。” 对 于 如 今 已 经 29 岁 的 他 来 说 ， 打 篮球 只 是 业余 爱好 了 ， 但 他 仍然 
和 以 前 一 样 观 察 自己 的 血 常 规 。“ 当 我 注意 到 ， 我 的 维生素 D 和 微量 元 素 
水 平 俩 低 后 ， 我 开始 调整 自己 的 饮食 ， 并 额外 补充 维生素 D。 当 数值 都 
恢复 正常 之 后 ， 我 也 明显 感觉 自己 健康 了 很 多 ， 虽 然 不 能 排除 只 是 心理 
因素 的 影响 。” 哥 次 勒 尔 的 榜样 是 带 莫 西 : 费 里 斯 CTimothy Ferriss) ， 他 
通过 出 版 《4 小 时 的 身体 》 一 书 带动 了 "优化 自己 的 效率 、 吴 体 、 曹 
养活 动 的 流行 。 

定期 检查 的 血 常 规 不 但 过 程 且 烦 ， 而 且 费 用 郧 贵 ， 这 让 哥 次 勒 尔 感 
到 很 诅 形 ， 同 时 也 催生 了 他 的 一 个 商业 灵感 : 他 和 一 个 朋友 、 两 位 医学 
顾问 一 起 成 立 了 一 家 名 叫 Biotrakr 的 公司 ， 其 宣传 语 是 “建立 在 你 的 映 体 
数值 基础 上 的 私人 健身 教练 ">。 目 前 该 公司 还 处 于 试 运 营 阶 段 。 哥 次 勒 
尔 为 50 名 用 户 寄 去 了 工具 包 ， 测 试 整 个 工作 流程 能 否 正常 运转 。 用 户 用 
刺 血 针 为 自己 取 血 ， 然 后 将 血样 匿名 寄 送 到 公司 实验 室 ， 而 相关 数据 会 
被 传输 到 Biotrakr 的 网 页 上 。“ 用 户 可 以 方便 、 匿 名 地 查 出 自己 的 血 常规 
值 ， 我 们 会 帮助 他 们 分 析 ， 这 些 数值 是 什么 意思 ， 他 们 可 以 做 些 什么 来 
应 对 。 一 切 正 常 当然 最 好 ， 万 一 有 问题 也 是 越 早 发 现 越 好 。” 


哥 次 勒 尔 知道 在 健康 这 个 主题 上 ， 数 据 保护 非常 重要 ， 而 且 从 法 律 







































































层面 来 讲 ， 他 的 公司 并 没有 做 出 医学 诊断 的 权利 。 但 他 仍然 相信 ， 
Biotrakr 的 服务 市 场 广阔 :“ 目 前 主动 量化 自我 的 人 还 是 少数 ， 但 他 们 的 
数量 肯定 会 越 来 越 多 。 我 们 想 借 助 Biotrakr， 为 广大 消费 者 提供 一 种 工 
有 具 ， 让 他 们 只 用 花 很 少 的 钱 ， 丈 能 过 上 尺 可 能 健康 的 生活 。” 











入 、 迎 接 小 数据 时 代 


(一 ) 小 数据 集合 体 的 形成 





当 我 们 无 法 精确 定义 某 种 事物 时 ， 则 会 冠 之 以 一 个 指 意 模糊 的 代 
称 , “大 数据 ?就 是 这 样 一 种 代称 。 如 果 我 们 要 理解 它 ， 只 能 够 进一步 将 
它 具 体 化 ， 把 它 量化 为 小 数据 。 

美国 帕 罗 奥 多 研究 中 心 (PARC) 的 马 元 : 韦 泽 (Mark Weiser) 提出 
人 类 最 终 将 进入 “ 普 适 计算 ”(Ubiquitous Computing) 的 阶段 ， 即 我 们 可 
以 在 任何 时 间 、 地 点 ， 获 取 和 处 理 任何 信息 ， 无 处 不 在 的 微小 设备 无 时 
无 刻 不 在 采集 、 传 输 和 计算 ， 形 成 一 个 包罗 万 象 的 信息 网 络 ， 因 为 数 
据 ， 正 逐渐 渗透 人 们 的 生活 ， 影 啊 甚 至 取代 原 有 的 知识 生产 方式 和 认识 
框架 ， 而 其 中 一 个 非常 重要 的 趋势 ， 束 是 “量化 自我 ”(Quantified Self， 
QS) 。 

量化 自我 这 个 词 是 2007 年 由 世界 著名 科技 杂志 《 连 线 》 记 者 级 文 : 
纪 利 (Kevin Kelly〉 和 新 瑞 : 伍 尔 夫 (Gary Wolf) 提出 来 的 ， 它 是 指 人 
们 可 以 通过 关注 自身 数据 从 而 保持 身体 健康 。 其 后 几 年 ， 无 数 自我 量化 
运动 的 忠实 支持 者 开始 大 范围 地 组 织 聚 会 ， 同 时 不 乏 对 周围 人 群 的 宣 
传 ，QS 运 动 正 有 人 烷 原 之 势 。 或 许 发 起 人 都 未 曾 预 料 到 这 个 活动 会 在 其 
后 几 年 内 在 全 世界 范围 内 产生 如 此 之 大 的 影响 。 量 化 上 自我， 标志 着 社会 
化 的 个 体 开 始 主动 运用 数据 的 方式 开展 认识 自我 的 实践 ， 预 示 着 人 类 认 
知 领域 全 面 数据 化 的 开始 。 

从 宏观 上 看 ， 当 个 体 的 量化 自我 行为 成 为 一 种 普遍 的 社会 实践 之 
后 ， 所 谓 的 大 数据 ( 普 适 计算 网 络 ) ， 就 会 把 世界 划 归 为 两 类 数据 ， 一 
类 是 自然 数据 ， 另 一 类 是 社会 数据 ， 而 社会 数据 即 是 由 无 数 的 个 体 数据 





























库 构 成 的 量化 自我 的 计算 网 络 一 一 ”一 个 包罗 万 干 的 社会 数据 网 络 。 在 
这 个 网 络 中 ， 有 意义 的 数据 和 运算 规则 将 被 保留 ， 无 意义 的 数据 和 算法 
都 会 被 剔除 。 留 下 来 的 数据 ， 基 终 会 被 浓缩 成 一 个 个 小 的 数据 集合 体 ， 
被 用 于 实际 应 用 当中 。 





(二 ) 小 数据 的 未 来 会 怎样 


小 数据 到 现在 为 止 的 应 用 十 分 局 限 ， 较 成 熟 的 应 用 像 是 运动 手 环 、 
智慧 手表 等 收集 身体 信息 ， 告 诉 你 每 天 的 运动 量 如 何 。 但 小 数据 若 通过 
自动 化 ， 在 未 来 所 能 提供 的 信息 不 止 于 此 。 

如 人 饮食， 现在 便利 商店 、 快 餐 店 的 食品 都 会 标注 热量 与 成 分 ， 假 设 
在 结账 时 ， 这 些 数据 也 能 一 次 加 总 ， 通 过 超 链 接 或 者 二 维 码 输 入 手机 ， 
就 能 让 你 知道 一 天 摄取 多 少量 ， 若 加 上 服务 ， 也 能 让 你 知道 最 近 是 否 吃 
得 太 油 、 太 威 ， 咖 啡 因 是 否 连日 超标 ， 该 调整 一 下 了 。 

例如 阅读 ， 美 国有 个 叫 Roundview 的 新 服务 ， 它 可 以 分 析 你 在 网 络 
上 的 阅读 行为 ， 让 你 了 解 自己 平时 阅读 哪些 网 站 、 哪 些 作者 的 文章 ， 进 
而 找 出 自己 的 喜好 。 若 类 似 这 样 的 服务 能 做 得 更 完整 ， 也 能 理解 自己 平 
常 的 时 间 花 到 哪儿 去 ， 获 得 的 信息 是 否 偏向 某 一 类 、 而 又 有 哪些 不 足 。 

小 数据 也 能 应 用 于 消费 分 析 ， 像 是 悠游 卡 、 信 用 卡 等 若 能 提供 消费 
类 别 与 金额 的 分 析 并 且 整 合 ， 更 能 帮助 你 处 理 自己 的 财务 。 

当然 ， 小 数据 作为 数据 时 代 的 重要 组 成 部 分 ， 应 用 潜力 远 远 不 止 这 
些 ， 任 何 销售 、 服 务 、 金 融 企业 可 以 充分 利用 数据 资源 ， 在 做 好 大 数据 
的 基础 上 ， 提 取 具有 鲜明 特征 且 具 有 价值 的 小 数据 ， 挖 掘 可 利用 的 客户 
个 人 信息 ， 获 取 有 价值 的 客户 信息 ， 降 低 公司 成 本 ， 提 高 运行 效率 ， 增 
加 销量 ， 更 好 地 为 客户 提供 量 身 定做 的 优质 服务 。 

比如 ， 小 数据 可 以 用 于 企业 中 ， 和 人 力 分 析 技术 结合 在 一 起 ， 去 改 
进 员 工 的 时 间 管 理 方式 ， 从 而 优化 工作 进程 。 如 通过 NFC〈 近 距离 无 线 























通信 技术 ) 和 微 传 感 器 ， 可 以 测量 到 员工 在 处 理 邮 件 、 与 他 人 协作 、 和 
同事 聊天 以 及 开会 时 在 路 上 上 所 耗费 的 时 长 ， 当 这 些 时 间 数 据 每 天 都 被 采 
集 起 来 并 以 图 表 的 方式 形成 个 人 报告 ， 则 可 以 让 员工 知道 他 们 有 哪些 地 
方 是 做 得 不 够 高 效 、 分 配 得 不 够 合理 的 ， 从 而 去 提升 目 己 的 效率 和 个 人 
表现 。 

许多 数据 公司 目前 已 将 小 数据 应 用 视 为 公司 未 来 发 展 的 核心 ， 它 们 
认为 小 数据 创新 的 意义 主要 表现 在 以 下 几 个 方面 : 其 一 ， 企 业 利 用 “小 
数据 ”挖掘 其 中 强 藏 的 商业 智能 已 成 为 数据 时 代 寻 求 决策 依据 、 所 升 企 
业 本 身 竞争 力 的 一 个 重要 途径 ， 其 二 ， 从 内 部 数据 出 发 ， 企 业 能 够 通过 
海量 数据 挖掘 用 户 特 征 获取 有 价值 的 “小 数据 *"， 以 获取 有 价值 的 用 户 信 
晨 ， 并 帮助 企业 明确 品牌 定位 和 优化 营销 集 略 ， 促 使 企业 及 时 调整 目 号 
的 业务 ; 其 三 ， 可 以 促进 数据 行业 的 发 展 ， 为 公司 的 及 展 积 系 很 多 有 价 
值 的 数据 。 























一 、 悍 清 小 数据 的 关系 


(一 ) 大 数据 与 小 数据 的 关系 
(1) 十 个 指头 弹 钢 蕉 


2014 年 2 月 7 日 ， 习 近乎 总 书记 在 俄罗斯 索 契 接受 俄罗斯 电视 台 专 访 
时 ， 谈 道 :“ 中 国有 960 万 平方 公里 国土 ，56 个 民族 ，13 亿 多 人 口 ， 经 济 
社会 发 展 水 平 还 不 高 ， 人 民生 活水 平 也 还 不 高 ， 治 理 这 样 一 个 国家 很 不 
容易 ， 必 须 登 高 望 远 ， 同 时 必须 脚踏实地 。 我 曾 在 中 国 不 同 地 方 长 期 工 
作 ， 深 知 中 国 从 东部 到 西部 ， 从 地 方 到 中 央 ， 各 地 各 层级 方方面面 的 差 
异 太 大 了 。 因 此 ， 在 中 国 当 领 导 人 ， 必 须 在 把 情况 搞 清楚 的 基础 上 ， 统 
筹 兼 顾 、 综 合 平衡 ， 突 出 重点 、 带 动 全 局 ， 有 的 时 候 要 抓 大 放 小 、 以 大 
兼 小 ， 有 的 时 候 又 要 以 小 带 大 、 小 中 见 大 ， 形 象 地 说 ， 束 是 要 十 个 指头 
弹 钢 琴 。” 


习 总 书记 上 述 关 于 抓 大 放 小 、 以 大 兼 小 ， 以 小 带 大 、 小 中 见 大 的 深 
刻 论 述 ， 全 面 涵 盖 了 全 局 与 局 部 ， 中 央 与 地 方 ， 上 级 与 下 级 ， 宏 观 与 微 
观 ， 一 般 〈 普 过 ) 与 个 别 ( 具 体 ，， 主 要 了 矛盾 与 次 要 矛盾 ， 国 家 、 焦 体 
与 个 人 ， 理 论 与 实际 ， 决 集 与 执行 ， 登 高 望 远 与 脚踏实地 之 间 的 辩证 关 
系 ， 既 是 马克 思 主 义 的 认识 论 ， 也 是 马 殉 思 主 义 的 方法 论 。 以 大 兼 小 、 
小 中 见 大 残 是 认识 论 ， 抓 大 放 小 、 以 小 带 大 就 是 方法 论 。 

大 就 是 大 数据 ， 就 是 全 量 数据 ;小 吏 是 小 数据 ， 就 是 个 体 数据 。 上 所 
以 ， 对 于 数据 科学 ， 我 们 必须 在 把 情况 搞 清楚 的 基础 上 懂得 哪些 是 大 ? 
哪些 是 小 ? 怎样 处 理 大 小 辩证 关系 ? 才能 在 具体 数据 应 用 中 做 到 抓 大 放 
小 、 以 大 兼 小 ， 以 小 带 大 、 小 中 见 大 。 在 研究 小 数据 时 ， 要 以 大 兼 小 、 


























以 小 见 大 ， 必 须 考虑 目标 的 正确 性 、 可 操作 性 和 决策 的 科学 性 、 可 行 
性 。 在 研究 大 数据 时 ， 和 要 抓 大 放 小 、 以 小 融 大 ， 既 要 考虑 整体 共性 ， 又 
要 注重 个 体 特 征 。 这 样 ， 数 据 应 用 ， 大 能 与 小 数据 量化 的 自我 保持 高 度 
一 致 ， 小 能 与 大 数据 预见 的 未 来 保持 一 致 ， 既 不 能 见 小 不 见 大 ， 也 不 能 
见 大 不 见 小 。 对 于 数据 科学 ， 从 数据 中 来 ， 到 数据 中 去 ， 既 要 见 大 ， 也 
要 见 小 ， 以 小 带 大 、 小 中 见 大 ， 才 能 真正 用 好 数据 。 








(2) 十 个 差异 论 大 小 


数据 时 代 将 重新 改写 人 们 对 数据 的 认识 ， 甚 全 是 数据 目 身 。 因 为 ， 
即使 是 一 个 “数据 ”本 号 ， 它 也 是 多 维 的 ， 也 还 可 以 分 拆 ， 在 分 拆 的 过 程 
中 ， 会 造 束 无 限 的 商机 。 从 信息 到 数据 ， 从 数据 到 数据 颗粒 ， 这 一 系列 
的 变化 ， 是 科技 发 展 的 必然 ， 也 是 社会 变革 的 驱动 力 。 

Q@“ 样 本 ”与 “全 量 ” 

传统 统计 学 研究 的 一 个 重要 基础 是 抽样 调 碍 ， 通 过 抽样 调查 得 到 一 
定 的 样本 数据 ， 并 以 此 作为 分 析 的 基础 。 但 抽样 调查 存在 两 大 限制 和 缺 
陷 。 一 是 视角 ， 做 问卷 调理 ， 需 要 设计 调查 问卷 ， 而 问卷 设计 本 身 ， 是 
带 有 主观 色彩 的 ， 即 移 设 定 哪些 领域 会 存在 哪些 问题 ， 并 据 此 设计 出 相 
应 的 问卷 问题 ， 这 实际 上 是 由 过 去 的 知识 体系 决定 的 。 然 而 ， 过 去 的 知 
识 体系 并 不 一 定 代表 着 调 伍 对 象 的 客观 和 全 貌 ， 所 以 ， 抽 样 调查 的 样本 
本 刁 就 可 能 存在 一 定 的 局 限 性 。 二 是 样本 量 ， 在 抽样 调查 过 程 中 ， 样 本 
量 总 是 有 限 的 。 如 宋 样 本 总 量 是 有 限 的 ， 从 对 象 的 角度 看 ， 其 随机 性 和 
代表 性 都 值得 商检 。 比 如 ， 街 头 的 问卷 调 碍 ， 惑 受到 一 定 的 局 限 性 ， 一 
定 征 有 些 群 体 懒得 搭理 你 ， 而 有 些 群 体 吕 很 喜欢 跟 你 聊天 。 这 就 意味 着 
接受 调 碍 的 基本 上 是 相对 有 时 间 的 人 ， 或 比较 热心 公益 的 人 ， 上 所 以 ， 调 
碍 结果 至 少 没 有 代表 那些 拒绝 的 人 。 另 外 ， 在 市 场 化 环境 下 ， 抽 样 调查 
也 受到 人 们 质疑 ， 特 别 是 在 委托 调 伍 公司 做 抽样 调查 时 ， 它 的 报价 主要 
依据 的 是 调 僵 的 样本 量 ， 不 少 调查 公司 从 苋 争 和 成 本 的 角度 出 友 ， 最 终 
只 能 在 实际 样本 上 “做 文章 ”。 所 以 ， 从 抽样 调查 的 样本 量 看 ， 也 存在 一 






































定 的 限制 条 件 。 

大 数据 时 代 带 来 的 重要 变化 主要 有 两 个 ， 一 个 是 “数字 社会 主义 ”， 
另 一 个 是 “数字 人 生 ”， 即 整个 社会 都 被 数字 化 了 ， 每 个 人 也 被 数字 化 
了 。 全 面 数字 化 的 信息 和 无 处 不 在 的 感应 终端 ， 将 彻底 改变 传统 数据 获 
取 的 可 能 性 和 效率 。 更 重要 的 是 信息 的 数据 化 是 与 生 俱 来 的 ， 这 种 数字 
化 趋势 将 会 产生 两 个 结果 ， 一 个 是 这 种 数据 (信息 ) 很 客观 ， 另 一 个 是 
它 为 全 量 数字 ， 这 大 大 降低 了 人 为 和 主观 的 干预 因素 ， 为 计量 科学 创造 
了 一 个 无 限 的 想象 空间 和 实现 的 可 能 性 ， 也 将 彻底 改变 统计 的 存在 和 实 
现 方式 。 最 典型 的 应 用 将 出 现在 人 口 普查 领域 ， 比 如 以 前 做 一 次 人 口 普 
查 非常 不 易 ， 人 力 资源 投入 大 ， 周 期 长 ， 且 成 本 高 。 但 大 数据 时 代 ， 很 
多 调查 和 统计 分 析 方式 将 发 生 质 的 变化 ， 都 将 彻底 改变 人 口 普查 的 方 
法 ， 继 而 改变 管理 模式 。 再 如 ， 我 国 每 年 大 约 有 70 亿 人 次 门诊 量 ， 现 在 
这 些 门诊 信息 均 逐 步 地 被 数字 化 了 ， 这 将 意味 着 彻底 改变 医疗 诊断 、 流 
行 病 管理 、 药 理学 、 健 康 管理 等 领域 ， 也 将 彻底 改变 统计 的 基础 。 可 以 
预见 ， 从 抽样 数据 到 全 量 数据 ， 将 引发 统计 乃至 整个 社会 管理 的 巨大 变 
化 。 

@ 结 构 与 非 结构 

数据 主要 分 为 三 类 :一 是 结构 数据 ， 简 单 来 说 就 是 数据 库 ， 是 由 二 
维 表 结构 来 逻辑 表达 和 实现 的 数据 ， 严 格 地 遵循 数据 格式 与 长 度 规范 ， 
主要 通过 关系 型 数据 库 进行 存储 和 管理 ， 二 是 非 结构 数据 ， 一 般 指 无 法 
结构 化 的 数据 ， 如 音频 、 视 频 、 图 像 等 ， 三 是 半 结构 数据 ， 它 的 数据 是 
有 结构 的 ， 但 却 不 方便 模式 化 ， 有 可 能 因为 描述 不 标准 ， 有 可 能 因为 描 
述 有 伸缩 性 ， 总 之 不 能 模式 化 。 从 处 理 的 角度 看 ， 结 构 数据 相对 简单， 
目前 对 于 结构 数据 处 理 的 技术 相对 成 熟 。 非 结构 数据 及 半 结 构 数据 ， 它 
们 的 处 理 技术 仍 处 于 探索 阶段 。 长 期 以 来 ， 在 整个 社会 的 数据 中 结构 数 
据 的 占 比 达到 95% 以 上 ， 非 结构 数据 非常 少 。 但 近年 来 ， 特 别 是 面向 未 
来 ， 非 结构 数据 将 呈现 井喷 式 的 发 展 ， 占 比 将 大 幅度 地 提升 。 但 是 ， 带 
来 的 问题 是 未 来 需要 我 们 更 多 地 管理 和 处 理 非 结构 数据 ， 这 既是 一 个 挑 


















































战 ， 更 是 一 个 商机。 

@ 质 量 与 数量 、 维 度 

过 去 是 一 个 数据 有 限 的 时 代 ， 能 够 获取 数据 的 数量 是 有 限 的 ， 维 度 
就 更 少 。 在 数据 有 限时 代 ， 人 们 更 多 地 关注 数据 质量 问题 ， 但 面 癌 未 
来 ， 在 数据 化 、 物 联网 、 感 应 终端 大 量 应 用 的 情况 下 ， 数 据 将 呈现 <“ 指 
数 级 ”增长 的 趋势 ， 数 据 在 量 上 会 极 大 地 丰富 ， 从 而 出 现 一 个 现象 ， 即 
数据 的 目 验 证 能 力 。 当 数据 量 大 到 足够 产生 目 验 证 能 力 时 ， 就 会 降低 对 
数据 质量 的 要 求 。 我 们 可 以 在 日 常生 活 中 找到 这 样 的 例子 ， 当 描述 一 个 
对 象 < 点 ”的 数量 足够 大 时 ， 尽 管 单个 点 不 是 那么 清晰 ， 但 从 大 的 轮廓 和 
面 上 看 ， 对 象 是 清晰 的 。 


除了 数据 的 “ 量 ” 和 "“ 质 ”的 关系 外 ， 还 要 看 到 一 个 问题 ， 无 处 不 在 的 
感应 终端 能 够 使 数据 的 维度 极 大 地 丰富 ， 从 而 使 对 对 象 的 描述 更 加 多 维 
并 丰满 。 原 来 更 多 是 从 一 个 维度 去 看 ， 从 一 个 平面 去 看 问题 。 当 数据 的 
维度 不 断 丰 富 的 时 候 ， 就 可 以 从 N 个 维度 去 观察 对 象 ， 不 仅 可 以 看 到 正 
面 ， 还 可 以 看 到 背面 和 侧面 等 ， 且 还 可 以 实时 地 观察 。 这 使 很 多 在 传统 
数据 环境 下 ， 原 本 不 可 能 实现 的 “对 象 刻 画 ? 成 为 可 能 。 数 据 的 实时 获 
取 、 数 据 维度 的 丰富 ， 而 且 古 实时 丰富 ， 将 给 数据 利用 和 创新 带 来 巨大 
的 想象 空间 。 但 与 此 同时 ， 也 会 市 来 数据 的 “ 超 高 维 ” 问 题 ， 挑 战 传统 统 
计 学 的 基础 。 


在 数据 从 质量 到 数量 再 到 维度 的 时 代 ， 我 们 从 原来 利用 大 数 法 则 做 
归 因 分 析 的 思维 模式 ， 转 向 未 来 利用 多 维 定 律 进行 关系 分 析 的 思维 模 
式 ， 从 几何 学 的 角度 看 ， 惑 是 通过 多 点 进行 定位 的 方法 。 从 风险 分 析 的 
角度 看 ， 以 往 更 多 的 是 用 一 种 纵 癌 的 思维 去 看 风险 ， 如 通过 对 一 个 人 的 
家 族 史 的 风险 分 析 ， 来 判断 他 的 性 格 以 及 各 种 各 样 风险 因素 ， 但 直观 地 
看 ， 这 个 方法 是 很 不 科学 的 。 未 来 不 但 可 以 利用 这 个 人 的 历史 数据 ， 而 
且 这 种 数据 是 多 维和 实时 的 ， 这 种 多 维 包括 环境 数据 、 周 边 人 对 他 的 描 
述 等 ， 能 够 更 加 客观 和 科学 地 对 其 风险 状况 进行 分 析 。 这 融 是 从 质量 到 
数量 再 到 维度 ， 带 来 的 数据 变迁 。 




















@ 内 部 与 外 部 


传统 企业 经 营 ， 更 多 地 关注 内 部 数据 ， 包 括 公司 数 据 和 行业 数据 。 
但 这 些 数据 在 解释 问题 时 ， 征 非常 有 限 的。 我 们 在 进行 企业 管理 时 ， 无 
论 是 在 趋势 判断 ， 还 是 在 预测 和 解释 上 ， 行 业内 部 数据 均 是 非常 有 限 
的 ， 甚 至 是 不 足 的 ， 需 要 更 多 地 关注 和 利用 外 部 数据 。 所 以 ， 以 前 更 多 
地 依赖 于 内 部 数据 ， 未 来 会 更 多 地 依赖 于 外 部 数据 ， 而 能 售 获 取 充 足 的 
外 部 数据 ， 将 成 为 企业 经 营 管理 的 重要 能 力 。 


@ 历 史 与 实时 

以 往 ， 我 们 更 多 是 利用 历史 数据 ， 而 且 数 据 的 使 用 、 处 理 都 有 一 个 
较 长 的 周期 。 这 种 时 注 的 存在 ， 越 来 越 挑战 对 于 未 来 的 判断 。 更 重要 的 
是 ， 过 去 的 数据 是 过 去 的 环境 成 束 的 ， 未 来 的 情况 将 由 未 来 的 环境 决 
定 ， 简 日 地 用 过 去 预测 未 来 会 面临 巨大 的 挑战 。 当 然 ， 原 来 没 办 法 ， 只 
能 利用 历史 数据 。 但 是 ， 现 在 人 们 可 以 获取 大 量 的 实时 数据 ， 这 就 给 了 
我 们 无 限 的 想象 空间 。 男 外 ， 实 时 数据 也 面临 厦 验 证 和 稳定 性 的 问题 ， 
同时 还 面临 厦 对 于 数据 应 用 的 取舍 问题 ， 这 些 都 是 未 来 数据 应 用 中 面临 
的 新 挑战 。 上 总而言之， 我们 将 从 更 多 地 依赖 于 历史 数据 ， 转 变 为 更 多 地 
依赖 实时 数据 ， 同 时 在 依赖 和 使 用 实时 数据 的 过 程 中 ， 也 面临 着 新 的 挑 
战 。 

@ 拥 有 与 知道 


传统 的 数据 管理 都 希望 更 多 地 获取 数据 ， 那 么 要 先 建立 一 个 数据 
库 ， 有 具备 一 定 的 存储 能 力 、 计 算 能 力 等 。 通 过 先 建立 目 己 的 数据 资源 
池 ， 然 后 ， 把 所 有 的 数据 放 到 这 个 池 里 ， 进 行 处 理 和 管理 。 但 未 来 行业 
的 数据 与 社会 的 数据 相 比 ， 可 能 只 是 “ 九 牛 一 毛 ”， 我 们 会 越 来 越 多 地 依 
赖 社 会 数据 ， 而 社会 数据 是 一 个 海量 数据 ， 无 论 是 从 可 能 性 看 还 是 从 经 
济 性 看 ， 都 不 能 拥有 这 些 数据 的 全 部 。 所 以 ， 未 来 的 数据 管理 要 遵 
循 “ 不 求 所 有 ， 但 知 所 在 ”的 原则 ， 你 不 可 能 拥有 全 部 数据 ， 关 键 和 核心 
能 力 是 必须 知道 有 哪些 社会 数据 ， 这 些 数据 在 哪里 ， 通 过 哪些 通道 能 够 
获取 这 些 数 据 。 不 必 将 所 有 的 数据 都 拿 到 本 地 ， 即 使 都 拿 来 了 ， 明 天 又 



































更 新 了 ， 所 以 ， 这 是 数据 管理 理念 的 一 个 非常 重要 的 转变 。 

标准 与 语义 

在 传统 的 数据 管理 中 ， 建 立 统 一 的 数据 标准 非常 重要 ， 如 每 一 个 员 
工 都 有 一 个 16 位 或 18 位 代码 ， 必 须 按照 这 个 代码 录入 才 行 ， 否 则 ， 系 统 
就 无 法 识别 。 但 未 来 使 用 更 多 的 是 外 部 数据 ， 和 是 社会 的 海量 数据 ， 我 们 
不 可 能 要 求 这 些 外 部 数据 都 按照 公司 或 者 行业 的 标准 进行 区 分 。 

那么 ， 怎 么 解决 这 个 问题 呢 ? 未 来 将 进入 一 个 “后 标准 ”时代 ， 或 者 
是 语义 时 代 。 语 义 时 代 的 关键 ， 是 在 一 个 语义 环境 下 定义 每 个 字 市 。 给 
大 家 举 一 个 最 简 蛙 的 例子 一 一 苹果 。 从 传统 “标准 ”思维 看 ,，“ 玉 果 ”有 至 
少 两 个 代码 标准 ， 一 个 是 “苹果 1”， 力 一 个 是 “苹果 2”， “苹果 1” 是 指 水 
果 ,“ 玉 果 2” 是 手机 ， 不 然 输 入 计算 机 里 ， 束 无 法 辨别 到 确 是 手机 ， 还 
征 水 果 。 但 在 语义 时 代 ， 当 输入 一 个 词语 ， 语 义 技术 通过 语 境 ， 就 能 够 
判断 其 准确 的 离 意 ， 正 如 人 们 在 日 党 交流 谈话 时 ， 肯 定 不 会 产生 这 样 的 
误解 ， 因 为 有 一 个 交流 的 语 境 存在 。 未 来 ， 这 种 语义 分 析 技 能 ， 将 成 为 
数据 管理 的 入 门 级 要 求 ， 这 是 利用 社会 数据 的 基本 功 。 

@ 满 足 与 追随 

传统 的 数据 管理 和 处 理 是 先 建立 一 定 的 数据 处 理 能 力 ， 然 后 ， 将 数 
据 从 各 个 地 方 提 取 过 来 ， 通 过 计算 中 心 集中 处 理 ， 并 提交 一 个 结果 。 所 
以 ， 在 这 种 模式 下 ， 必 然 会 涉及 数据 采集 、 去 哪里 采集 、 数 据 迁移 ， 以 
及 数据 存储 等 一 系列 问题 。 然 而 ， 这 种 模式 在 未 来 将 面临 很 大 的 挑战 ， 
不 但 是 计算 效率 受到 挑 成， 而且 实现 可 能 性 也 受到 挑战 。 因 为 ， 你 不 可 
能 把 那么 多 的 数据 都 拿 来 ， 也 没有 必要 。 因 此 ， 未 来 “ 数 ” 和 “ 算 ” 的 位 置 
会 及 生 反 转 。 原 来 是 数据 退 随 和 服从 计算 ， 而 未 来 计算 会 倒 过 来 退 随和 
服从 数据 ， 即 数据 在 哪里 ， 计 算 就 退 随 到 哪里 ， 在 数据 所 在 地 进行 计 
算 ， 然 后 ， 把 计算 的 结果 传 回来 。 

这 是 未 来 关于 “ 数 ”" 和 “ 算 ” 的 解决 方案 ， 这 又 是 一 项 挑战 。 这 几 年 大 
家 都 在 讲 大 集中 ， 当 我 们 把 所 有 的 数据 都 集中 在 一 起 ， 你 会 发 现 其 中 大 














量 的 数据 实际 上 是 没有 用 的 。 所 以 ， 一 家 公司 的 数据 像 一 个 金字 塔 ， 数 
气管 理 束 像 在 金字 塔 中 间 打 一 个 “ 井 ?”， 把 最 重要 的 核心 数据 集中 起 来 束 
可 以 了 ， 很 多 边缘 的 数据 不 需要 把 它 集 中 起 来 ， 因 为 ， 它 们 只 需要 本 地 
计算 ， 而 集中 也 需要 成 本 。 

@ 数 据 与 可 视 化 


未 来 的 数据 展示 将 走向 可 视 化 ， 以 前 都 是 看 报表 ， 现 在 看 到 的 更 多 
古 仪表 盘 一 类 的 可 视 化 展示 ， 这 也 是 数据 的 一 个 重要 变化 ， 即 可 视 化 。 
可 视 化 技术 在 未 来 具有 广阔 的 应 用 前 景 ， 尤 其 对 于 数据 管理 人 员 等 ， 数 
据 展 现 将 更 加 和 直观、 生动 、 上 有 具象， 视觉 传递 效果 更 佳 。 以 前 表述 一 组 数 
据 ， 需 要 大 量 的 解释 说 明 ， 而 现在 如 果 用 一 个 饼 图 、 柱 状 图 束 可 以 一 目 
了 然 了 。 面 同 未 来 ， 数 据 的 可 视 化 形式 的 转变 ， 将 为 我 们 的 内 部 管理 和 
外 部 客户 沟通 提供 很 大 的 改进 和 完善 空间 。 

@ 高 成 本 与 接近 免费 

最 后 ， 也 是 非 向 重要 的 转变 ， 融 是 数据 从 高 成 本 到 接近 于 免费 。 从 
传统 思维 看 ， 数 据 的 获取 是 需要 代价 的 ， 天 下 没有 免费 的 午餐 ， 任 何 一 
个 数据 获得 都 是 有 成 本 的 。 不 管 是 做 市 场 调查 ， 还 是 去 外 部 购买 数据 ， 
都 是 要 人 花 钱 的 ， 就 算是 内 部 数据 也 不 是 免费 的 ， 从 录入 到 处 理 、 传 输 和 
存储 ， 都 是 有 成 本 的 。 但 在 互联 网 和 大 数据 时 代 ， 数 据 如 同 空气 般 地 存 
在 于 整个 社会 中 ， 而 且 许多 数据 是 “与 生 俱 来 "的 。 同 时 ， 各 国政 府 也 在 
推动 数据 〈 特 别 是 公共 部 门 的 数据 ) 向 社会 开放 。 奥 巴 马 就 任 时 就 说 ， 
在 他 的 任期 内 ， 要 推动 公共 数据 开放 到 20%。 为 什么 ?因为 公共 数据 、 
社会 数据 的 开放 ， 会 市 动 整 个 社会 的 创新 ， 数 据 开放 产生 的 创新 推动 力 
是 难以 想象 的 。 


很 多 人 有 奇 思 妙 想 ， 但 是 得 不 到 数据 的 验证 和 文 持 。 如 有 果 把 这 些 数 
据 都 开放 的 话 ， 那 么 人 们 就 会 通过 这 些 数据 发 现 很 多 改进 空间 和 价值 洼 
地 。 面 向 未 来 ， 数 据 可 以 是 免费 的 ， 当 然 也 不 必 全 部 免费 ， 至 少 越 来 越 
多 的 数据 可 以 是 免费 的 ， 或 者 说 是 趋 于 免费 ， 这 将 大 大 降低 利用 数据 进 
行 创新 的 门槛 。 所 以 我 认为 ， 未 来 数据 获取 和 利用 能 力 将 成 为 决定 企业 
































经 营 、 成 本 和 创新 的 一 个 重要 因素 。 因 此 ， 获 取 数 据 ， 特 别 是 免费 获取 
数据 将 成 为 企业 的 关键 能 


(二 ) 决 朱 从 小 数据 收集 开始 


《孙子 : 谋 攻 篇 》 中 说 :“ 知 己 知 役 ， 百 成 不 玖 。" 意 思 是 说 ， 在 军 
事 纷 争 中 ， 既 了 解 敌 人 ， 又 了 解 目 己 ， 打 起 仗 来 就 可 以 一 直立 于 不 败 之 
地 。 


然而 ， 你 并 不 一 定 能 够 收集 到 足够 的 数据 ， 甚 全 有 时 候 你 收集 到 的 
数据 根本 没有 价值 。 一 个 重要 的 问题 就 是 如 何 能 准确 有 效 地 收集 所 需要 
的 数据 ， 以 客观 而 全 面 地 反映 所 要 决策 问题 的 真实 状况 ， 这 就 是 小 数据 
的 收集 。 


小 数据 的 收集 是 我 们 每 一 项 决 集 活动 的 先行 环节 ， 是 决 倘 工作 的 必 
备 工 作 和 关键 性 工作 ， 我 们 可 以 依靠 掌握 的 相关 信息 及 由 此 信息 反映 出 
的 机 会 ， 对 决策 行为 做 出 判断 。 小 数据 收集 也 必须 建立 在 调查 的 基础 
上 ， 只 有 充分 地 调 碍 和 分 析 ， 小 数据 的 收集 才能 有 的 放 和 天 ， 更 有 针对 
性 ， 才 能 找到 突破 口 和 机 会 。 要 做 好 小 数据 收集 这 项 工作 ， 必 须 做 到 以 
下 几 操 。 


一 是 要 有 很 强 的 执行 力 。 数 据 收 集 是 一 个 非常 些 人 ， 非 党 烦琐 的 事 
情 ， 只 有 严格 地 去 执行 ， 得 出 结果 ， 才 能 将 愿景 落实 到 细节 。 

二 和 古 要 有 逆 问 思维 。 说 得 直上 日 点 就 是 换 位 思考 ， 从 一 个 数据 使 用 者 
的 角度 来 看 竺 问题， 如 何 把 握 数 据 分 析 的 切入 点 ， 与 其 说 拼 的 是 分 析 能 
力 还 不 如 说 是 思维 的 较量 。 

三 是 有 认真 对 待 的 态度。 态度 决定 一 切 ， 你 对 一 件 事情 是 什么 态 
度 ， 就 注定 了 这 件 事 情 的 结果 。 

四 是 要 有 了 耐心。 数据 收集 不 是 一 旨 一 夕 的 事 ， 它 会 花费 你 大 量 的 时 


























间 和 精力 ， 这 束 需 要 你 有 足够 的 耐心 ， 让 里 体 的 生物 钟 去 影响 你 的 思 
维 ， 将 小 数据 收集 工作 持续 下 去 。 





(三 ) 小 数据 收集 也 有 和 容 门 
(1) 巧 用 “关键 词 *” 检 索 


数据 收集 能 够 收集 许多 东西 ， 但 也 不 能 漫 无 目的 地 去 收集 。 关 键 词 
搜索 是 网 络 搜索 索引 的 主要 方法 之 一 ， 就 是 希望 访问 者 了 解 的 产品 或 服 
务 或 者 公司 等 的 具体 名 称 的 用 语 。“ 关 键 词 ?在 很 多 方面 都 能 起 到 比较 重 
要 的 作用 ， 能 够 快速 对 茶 事 、 某 物 进 行 定 位 ， 提 升 小 数据 的 收集 效率 。 

你 可 以 命令 搜索 引擎 寻找 任何 相关 内 容 ， 所 以 关键 词 的 内 容 可 以 
是 : 人 人 名、 网站、 新 闻 、 小 说 、 软 件 、 游 戏 、 星 座 、 工 作 、 购 物 、 论 
文 、 视 频 等 。 增 加 核心 关键 词 的 数量 ， 可 以 有 更 多 的 机 会 搜索 到 所 需 数 
气 的 结果 。 在 多 数 情况 下 ， 输 入 两 个 关键 词 ， 就 能 有 很 好 的 搜索 结果 。 














(2) 使 用 顺序 观察 法 


顺序 观察 法 是 一 种 观察 事物 的 基本 方法 ， 尤 其 适用 于 小 数据 的 收 
集 。 对 毅 态 的 事物 按 一 定 的 方位 次 序 做 仔细 全 面 的 观察 ， 对 动态 的 事物 
按 发 展 变化 的 阶段 有 层次 地 了 解 其 全 过 程 ， 这 种 按照 一 定 的 顺序 对 事物 
进行 逐一 观察 的 方法 即 为 顺序 观察 法 。 运 用 顺序 观察 法 收集 小 数据 时 有 
儿 个 要 扣 。 

一 征 先 观 罕 对 象 分 布 、 组 合 、 罗 列 的 空间 位 置 以 及 出 现 、 变 换 的 先 
后 次 序 ， 提 前 对 所 需要 的 小 数据 的 收集 顺序 做 好 判断 。 

二 是 考虑 按照 什么 顺序 进行 观察 。 一 般 情况 下 ， 如 果 是 静态 的 事 
物 ， 构 成 又 比 较 复杂 ， 分 布 也 比较 散乱 ， 那 束 可 按 空间 位 置 排列 观 岁 顺 
序 : 或 从 左 到 右 ， 或 从 上 到 下 ， 或 由 里 而 外 ， 或 自前 问 后 ， 或 由 近 及 




















远 ， 或 由 整体 到 局 部 ， 当 然 也 可 以 反 过 来 进行 。 如 果 是 动态 的 事物 ， 则 
可 按时 间 先 后 的 顺序 进行 观察 。 

三 是 确定 好 观察 点 ， 这 是 我 们 观察 事物 的 立足 点 ， 它 可 以 是 固定 
的 ， 也 可 以 是 移动 的 ， 观 察 点 的 变动 也 应 章 循 一 定 的 顺序 。 

熟练 地 车 握 这 一 方法 后 ， 我 们 所 需要 的 小 数据 就 能 清晰 地 展现 出 
来 。 








(3) 符 试 运用 关联 分 析 


关联 分 析 束 是 寻找 数据 库 中 值 的 相关 性 ， 即 一 个 事物 的 出 现 可 能 会 
叶 致 男 一 个 事物 随 之 出 现 ， 两 个 事物 之 间 存 在 着 既定 的 相互 关系 。 关 联 
分 析 又 称 关 联 挖 据 ， 就 是 在 交易 数据 、 关 系数 据 或 其 他 信息 载体 中 ， 碍 
找 存 在 于 项 目 集合 或 对 象 集合 之 间 的 频繁 模式 、 关 联 、 相 关 性 或 因果 结 
构 。 或 者 说 ， 关 联 分 析 是 发 现 交 易 数 据 库 中 不 同 商品 (项 ) 之 间 的 联 
系 。 

小 数据 收集 使 用 关联 分 析 可 以 减少 数据 采集 次 数 与 频 紊 ， 关 联 分 析 
的 任务 就 是 从 数据 集中 挖掘 出 频繁 项 集 ， 然 后 从 频繁 项 中 提取 出 事物 之 
间 的 强 关 联 规 则 ， 辅 助 决 策 。 


























(4) 注重 异 和 单数 据 握 取 


很 多 人 认为 在 处 理 大 数据 时 忽略 各 种 异常 数据 是 最 好 的 做 法 ， 为 此 
他 们 创建 了 复 茶 的 过 滤 程 序 ， 来 舍弃 那些 异 第 的 信息 ， 因 为 寞 沼 往 往 会 
导致 结果 的 不 准确 。 但 实践 证 明 ， 在 茶 些 时 候 和 某 些 特定 的 情景 中 ， 有 前 
常数 据 要 比 其 他 的 数据 更 有 价值 。 而 这 个 个 过 小 掉 的 数据 恰恰 是 小 数据 
要 采集 的 重点 。 

通常 情况 下 ， 只 要 数据 集 的 规模 足够 大 ， 寞 第 现象 就 总 会 随 之 出 
现 ， 需 要 我 们 去 核查 自己 数据 分 析 工 具 的 采集 人 逻辑 、 处 理 逻 辑 。 不 好 的 























异常 处 理 方 式 容 易 造 成 逻辑 混乱 ， 脆 弱 而 难于 管理 。 而 一 旦 采集 逻辑 和 
处 理 逻 辑 被 证 明 是 正确 的 ， 这 个 异 第 数据 束 会 作为 小 数据 的 采集 对 象 ， 
采集 到 的 数据 可 以 描述 用 户 在 使 用 过 程 中 的 特殊 行为 。 


(5) 闭 于 捕捉 “亮点 数据 ” 


亮点 数据 一 般 发 生 在 数据 内 容 的 关键 环节 ， 往 往 会 以 一 种 高 涡 、 突 
出 、 变 形 的 方式 展现 在 你 面前 ， 这 种 数据 也 可 称 为 重点 数据 ， 是 数据 最 
想 表达 的 内 容 。 遇 见 这 种 数据 时 ， 你 可 以 比较 容易 地 将 其 记录 下 来 ， 成 
为 我 们 所 需要 的 小 数据 。 但 有 时 亮点 数据 也 存在 于 一 个 不 起 眼 的 角落 ， 
需要 你 细心 留意 、 仔 细 观 察 。 一 旦 你 发 现 了 这 种 “不 起 眼 ” 的 数据 ， 就 意 
味 着 你 将 会 比 别人 拥有 更 多 的 数据 分 析 基 础 ， 其 至 能 够 改变 整个 决策 结 
果 。 


捕捉 亮点 数据 需要 养 成 忆 好 的 数据 收集 习 慌 ， 有 时 我 们 对 茶 些 数据 
会 产生 一 些 灵 感 ， 束 应 及 时 地 把 它们 记录 下 来 ， 发 现 确 实 有 独具匠心 之 
处 就 应 该 归纳 和 总 结 。 日 积 月 系 ， 等 时 间 长 了 ， 我 们 经 过 对 数据 的 收 
集 、 整 理 、 归 纳 ， 残 目 然 会 形成 吏 点 数据 的 寻找 逻辑 ， 形 成 可 贵 的 小 数 
所 收集 经 验 。 























(四 ) 一 个 用 户 如 何 通 过 小 数据 来 构成 


如 末 我 们 把 一 个 用 户 作为 一 次 决策 服务 对 象 的 整体 ， 那 么 对 于 用 户 
全 方位 的 关键 信息 获取 将 成 为 数据 收集 的 关键 。 

以 一 个 科研 用 户 的 小 数据 构成 来 看 ， 科 研 用 户 小 数据 是 密切 以 用 户 
为 中 心 而 进行 收集 、 感 知 和 获取 的 ， 其 涵盖 了 用 户 特 征 数据 、 情 景 状 态 
数据 、 线 上 活动 数据 、 线 下 活动 数据 、 用 户 生 成 数据 以 及 科研 角色 数 
据 。 

(1) 基础 特征 数据 主要 收集 的 是 对 用 户 基 本 信息 特征 的 描述 ， 如 
年 龄 、 性 别 、 专 业 、 兴 趣 偏 好 、 职 称 、 工 作 年 限 等 。 











(2) 情景 状态 数据 主要 收集 的 是 对 用 户 实 时 情景 的 描述 ， 如 当前 
所 处 的 物理 状态 、 活 动 状 态 、 心 理 状 态 、 需 求 状态 、 目 标 状态 等 。 

(3) 线 上 活动 数据 主要 收集 的 是 对 研究 过 程 中 用 户 网 络 行为 的 描 
述 ， 如 网 页 浏览 、 数 据 共 诗 、 数 据 收藏 、 知 识 库 访问 、 服 务 咨询 、 文 献 
传递 、 在 线 阅 读 、 网 上 学 习 等 。 


(4) 线 下 活动 数据 主要 收集 的 是 对 用 户 研究 过 程 中 现实 活动 行为 
的 描述 ， 如 团队 认 部 交流 数据 、 学 习 、 阅 读 、 会 议 参与 、 知 识 咨询 、 经 
验 分 享 、 谍 程 教学 空间 位 置 等 。 

(5) 用户 生成 数据 主要 收集 的 是 在 研究 过 程 中 或 服务 接受 过 程 中 
用 户 对 产生 数据 的 描述 ， 如 社交 数据 、 研 完 过 程 中 产 出 数据 、 服 务 评 
价 、 内 容 评价 、 阅 读 笔记 、 研 究 心 得 、 成 果 展 示 等 。 

(6) 科研 角色 数据 主要 收集 的 是 对 用 户 研 究 过 程 中 科研 任务 和 科 
研 角 色 的 描述 ， 如 项 目 实施 进度 、 人 员 变 化 、 角 色 变 化 、 任 务 临时 调 
整 、 附 属 任 务 、 突 发 事件 等 。 

这 些 数据 以 全 方位 、 多 层次 的 方式 搬 述 了 科研 用 户 的 研究 模式 和 和 需 
求 变化 ， 实 现 了 用 户 个 体 的 个 性 化 与 数据 的 实时 化 (如 表 12-1 所 示 )〉。 


表 12-1 科研 用 户 小 数据 的 构成 












































数据 类 型 作 用 范 转 来 源 
雪 息 ， 如 年 龄 、 性 别 、 | 隶属 单位 、 图 书包 
对 用 户 基本 信息 | 基本 信息 ， 如 年 龄 、 性 别 、 | 隶属 单位 、 图 书信 
基本 特征 数据 | ,ip 专业 、 兴 趣 偏好 、 职 称 、 工 | 数据 库 、 学 习 网 站 
En 作 年 限 等 等 
| 当前 所 处 的 物理 状态 、 活 动 | 传感器 、 网 络 监测 、 
情景 状态 数据 | /实时 从 景 | 状态 、 心理 状态 、 需 求 状 态 、| 视频 设备 、 移 动 设 
的 描述 ee 
目标 状态 等 备 等 
网 页 浏览 、 数 据 共享 、 数 据 | 移动 网 络 监测 、 用 
对 研究 过 程 中 用 
收藏 、 知 识 库 访问 、 服 务 咨 | 户 日 志 、 图 书馆 管 
线 上 活动 数据 | 户 网 络 行为 包 
本 行为 的 描 | 询 、 文 献 传递 、 在 线 阅读 、 | 理 系统 、 科 研 管理 
网 上 学 习 等 系统 等 
团队 内 部 交流 数据 、 学 习 、 | 传感器 .图 书馆 员 、 
寺 用 户 研究 过 程 
Pe ee 阅读 、 会 议 参 与 、 知 识 咨询 、| 科研 团队 、 同 行 专 
- i 经 验 分 享 、 课 程 教学 空间 位 | 家 、 相 关 信 息 系 统 、 
置 等 隶属 单位 等 
在 研究 过 程 中 或 | 社交 数据 、 研 究 过 程 产 出 数 | 用 户 合 作 人 员 、 图 
交 受 过 程 、 服 务 评价 、 内 容 评 价 、 | 书馆 员 、 同 行 专家 、 
用 户 生 成效 据 | 服务 接受 过 程 中 | 据 、 服 务 评价 、 内 容 评价 、 | 书信 员 .同行 专家 
用 户 自 产生 数据 | 阅读 笔记 、 研 究 心得 、 成 果 | 网 络 监测 、 社 交 媒 
的 描述 展示 等 体 等 
痢 医 二 四 N 
对 用 户 研究 过 程 | 项 目 实施 进度 、 人 员 变 化 、 人 
科研 角色 数据 | 中 科研 任务 和 科 | 角色 变化 、 任 务 临时 调整、 es qe 
研 角色 的 描述 ”| 附属 任务 、 突 发 事件 等 、 











国家 政策 环境 等 


二 、 形 成 小 数据 思维 


(一 ) 小 数据 思维 


所 谓 数据 思维 就 是 以 创造 数据 价值 为 目的 的 创新 思维 。 谈 及 小 数据 
思维 ， 我 们 不 得 不 先 从 大 数据 思维 说 起 。 大 数据 时 代 ， 人 们 的 思维 方式 
发 生 了 极 大 的 转变， 具体 表现 在 四 个 方面 : 第 一 ， 人 们 处 理 的 数据 从 样 
本 数据 转变 为 全 数据 ， 第 二 ， 全 样本 的 出 现 使 人 们 不 得 不 放弃 原 有 的 精 
准 性 ， 而 转 癌 接受 数据 的 混杂 性 ， 第 三 ， 人 类 通过 对 大 数据 的 处 理 ， 放 
弃 了 对 因果 关系 的 交 求 ， 而 转 同 对 相关 关系 的 关注 ; 第 四 ， 大 数据 技术 
里 然 没 有 迫使 我 们 去 记忆 ， 但 是 其 促进 了 遗 饼 的 终止 。 和 鉴于 此 ， 小 数据 
思维 主要 表现 为 四 个 方面 : 样本 思维 (精简 思维 ) 、 精 准 思 维 、 因 果 思 
维和 遗 筷 思维 。 








(1) 样本 思维 (小 数据 思维 是 以 小 见 大 ， 大 数据 
思维 是 以 大 见 小 ) 


在 大 数据 时 代 ， 人 们 在 利用 总 体 思维 收集 、 存 储 、 分 析 人 类 行为 大 
数据 并 应 用 于 生产 、 生 活 、 工 作 的 同时 ， 小 数据 的 样本 思维 能 够 从 更 加 
细微 、 全 面 的 角度 获得 人 们 的 心理 数据 ， 行 为 数据 与 心理 数据 的 结合 即 
总 体 思 维 与 样本 思维 的 融合 ， 能 够 让 我 们 对 事物 的 认识 更 加 全 面 、 精 
准 、 芯 体 和 系统 。 

我 们 在 这 里 提 到 了 小 数据 样本 ， 顾 名 思 义 ， 数 据 的 样本 少 ， 实 际 上 
讲 的 是 现存 样本 对 特征 空间 的 刻画 能 力 不 足 。 


过 拟 合 〈 是 指 为 了 得 到 一 致 假设 而 使 假设 变 得 过 度 复 杀 ) 问题 是 小 








数据 时 代 的 核心 问题 之 一 。 大 数据 之 所 以 称 为 大 数据 ， 一 方面 是 因为 其 
具有 能 够 超出 一 般 算法 或 一 般 硬 件 的 计算 能 力 ; 另 一 方面 是 其 拥有 足以 
用 来 刻画 样本 特征 空间 以 外 的 “超额 样本 。 其 中 ， 第 一 个 特征 是 推动 去 
计算 软件 发 展 的 动力 ， 第 二 个 特征 是 从 商业 模式 和 数据 分 析 的 方法 论 层 
面 推动 行业 的 变化 。 大 数据 的 核心 价值 是 通过 搜索 小 样本 数据 ， 将 其 聚 
集 为 海量 样本 数据 ， 通 过 目标 个 体 的 汇集 来 部 现 巨大 的 商业 价值 ， 而 这 
一 切 所 依赖 的 经 验 和 规则 是 从 小 样本 数据 中 挖掘 出 来 的 。 也 就 是 次 ， 大 
数据 的 总 体 思 维 的 前 喘 和 根基 就 是 小 数据 的 样本 思维 。 


此 外 ， 更 小 、 更 精 民 的 数据 集 更 容易 过 滤 “ 噪 声 *”， 获 得 “信和 号 ”。 存 
储 空间 的 成 本 正在 降低 ， 这 让 分 析 界 倾 问 于 分 析 全 部 数据 集 。 在 大 数据 
时 代 ， 人 们 希望 通过 部 署 一 个 技术 ， 束 可 以 解决 多 种 问题 。 供 应 两 正 在 
积极 迎合 这 种 需求 ， 声 称 自己 的 大 数据 软件 可 以 极 大 地 简化 业务 分 析 项 
目 。 但 是 ， 与 其 无 限期 坐等 大 数据 软件 来 解决 一 切 问 题 ， 不 如 去 提升 自 
己 的 预测 模型 。 定 义 预 测 模型 的 变量 要 比 放 入 模型 中 的 大 规模 数据 有 用 
得 多 。 在 模型 中 加 入 更 多 的 数据 反而 会 增加 分 析 的 时 间 。 在 分 析 数 据 集 
的 时 候 ， 样 本 足以 揭示 总 量 的 规律 ， 而 且 更 快捷 。 如 果 分 析 了 100 个 数 
气节 点 之 后 ， 样 本 已 经 显而易见 了 ， 就 不 需要 继续 分 析 剩 下 的 10 万 个 数 
气节 点 了 ， 人 否则 只 会 延长 项 目 ， 降 低 收益 。 


(2) 精准 思维 《小 数据 思维 退 求 精确 ， 大 数据 思 


维 接受 混杂 ) 


数据 科学 家 维克托 : 舍 恩 伯 格 说 过 这 样 一 段 话 :“ 执 迷 于 精确 性 是 信 
姑 缺 乏 时 代 和 模拟 时 代 的 产物 。 只 有 5% 的 数据 是 结构 化 且 能 适用 于 传 
统 数 据 库 的 。 如 果 不 接 受 混 乱 ， 那 么 剩 下 的 95% 的 非 结 构 化 数据 都 无 法 
利用 ， 只 有 接受 不 确定 性 ， 我 们 才能 打开 一 面 从 未 涉足 的 世界 之 
窗 。” 这 体现 了 分 析 海 量 数据 的 大 数据 的 一 种 容错 思维 ， 但 这 段 话 同时 
也 意味 者 大 数据 由 于 数据 量 庞 大 可 能 会 放弃 对 精准 性 的 退 求 。 而 精准 思 
维 是 一 种 非常 务实 的 思维 方式 ， 它 强调 具体 和 准确 ， 要 求 动 作 精准 到 









































位 ， 在 一 个 个 具体 的 点 上 解决 问题 ， 排 斥 大 而 化 之 、 帘 而 统 之 地 抓 工 
作 。 现 实 矛 盾 部 是 由 一 系列 具体 问题 累积 起 来 的 ， 化 解 矛 盾 、 推 进 工作 
必须 养 成 精准 思维 ， 从 一 个 个 具体 问题 入 手 ， 积 小 胜 为 大 胜 。 


对 精确 的 追求 ， 历 来 是 传统 的 小 数据 分 析 的 强项 ， 这 在 一 定 程度 上 
弥补 了 大 数据 的 “混杂 性 ”缺陷 。 考 虑 到 我 们 现在 处 于 一 个 数据 过 量 而 技 
能 稀缺 的 时 代 ， 数 据 的 数量 不 是 最 关键 的 ， 大 数据 最 值钱 的 部 分 束 古 它 
上 自身。 即便 小 数据 处 理 数据 量 不 是 很 大 ， 这 并 不 妨碍 我 们 去 更 多 地 关注 
数据 本 身 的 价值 。 小 数据 收集 的 样本 信息 量 比 大 数据 少 ， 无 须 快速 做 出 
反应 ， 它 更 加 注重 的 是 非 结构 化 数据 之 间 的 关联 ， 重 视 的 是 深度 挖掘， 
所 以 能 够 确保 数据 具有 精确 化 特征 。 这 便 是 小 数据 的 又 一 种 思维 ， 即 精 
准 思维 。 

















(3) 因 末 思维 《小 数据 思维 注重 因 末 关系 ， 大 数 
据 思维 注重 关联 关系 ) 


大 数据 时 代 ， 人 们 可 以 利用 数据 挖掘 技术 找到 与 事物 相关 联 的 隐蔽 
性 内 容 ， 获 得 更 多 的 认 知 与 洞 见 ， 从 而 能 够 更 加 容易 、 更 加 快捷 、 更 加 
清楚 地 分 析 事 物 。 这 就 是 大 数据 对 于 事物 本 质 的 相关 思维 。 利 用 这 一 思 
维 ， 可 以 帮助 人 们 看 到 以 前 不 曾 注 意 到 的 联系 ， 同 时 可 以 帮助 人 们 更 好 
地 预测 未 来 。 但 大 数据 往往 会 因 其 相关 性 的 统计 分 析 将 无 厘 头 的 事物 一 
并 牵扯 起 来 ， 而 忽略 其 内 在 因 末 届 辑 关 系 。 

在 大 数据 时 代 ， 只 要 有 超大 样本 和 超 多 变量 ， 我 们 就 可 能 找到 无 厘 
头 式 的 相关 性 。 美 国政 府 每 年 公布 4.5 万 类 经 济 数据 。 如 果 你 要 找 失业 
率 和 利率 受 什么 变量 影响 ， 你 可 以 罗列 10 亿 个 假设 。 只 要 你 反复 尝试 不 
同 的 模型 ， 上 干 次 后 ， 你 一 定 可 以 找到 统计 和 学 意义 上 成 立 的 相关 性 。 事 
实 上 ， 对 因果 关系 的 追寻 ， 是 人 类 惯 有 的 思维 ， 在 这 个 惯性 思维 的 推动 
下 ， 很 容易 误 把 “相关 ? 当 “ 因 采 ' 一 一 这 是 我 们 需要 警惕 的 大 数据 陷阱 。 

对 小 数据 而 言 ， 恰 好 与 大 数据 思维 相反 ， 小 数据 思维 强调 的 是 一 种 

















因果 关系 ， 关 注 的 是 “为 什么 ”， 侧 重 于 通过 有 限 的 样本 数据 来 列 析 其 中 
的 内 在 机 理 。 因 此 ， 这 就 是 小 数据 的 一 种 因果 上 丰 维 。 大 数据 时 代 ， 在 大 
批量 的 小 决策 上 ， 相 关 性 是 很 有 用 的 ， 而 在 小 批量 的 大 决策 上 ， 因 果 关 
系 是 至 关 重 要 的 。 大 数据 相关 思维 与 小 数据 因果 思维 结合 ， 可 以 协助 人 
们 得 到 更 广 、 更 深 的 数据 调 察 ， 让 人 们 更 加 透彻 地 了 解 事情 的 相关 性 及 
其 内 在 原因 。 


(4) 站 所 思 维 〈 小 数据 思维 是 适时 遗 筷 ， 大 数据 
思维 是 永久 记忆 ) 


过 去 ， 我 们 不 断 努 力 ， 希 望 我 们 的 记忆 能 更 加 长 久 一 些 ， 尺 力 地 延 
长 我 们 的 记忆 时 间 ， 而 大 数据 时 代 的 到 来 ， 可 以 将 记忆 永久 保存 ， 这 解 
决 了 人 类 过 去 延长 记忆 的 问题 ， 也 给 人 们 袖 来 了 新 的 困扰 和 难题 。 


目 古 以 来 ， 遗 筷 便 是 人 们 与 生 俱 来 的 一 种 能 力 ， 又 或 者 说 是 一 种 缺 
陷 。 于 是 ， 人 们 便 千 方 百 计 地 去 提升 目 身 的 记忆 力 ， 记 住 目 己 身边 乃至 
这 个 世界 上 所 发 生 的 一 切 。 但 是 ， 人 脑 的 记忆 为 终归 是 有 限 的 ， 外 部 记 
忆 成 了 人 们 拓展 记忆 力 的 男 一 条 重要 途径 。 从 最 初 的 结 绳 记事 ， 到 图 
请、 文字 和 数字 的 发 明 ， 人 类 文明 因为 有 了 记忆 的 保存 才 得 以 延续 。 从 
绳 结 到 现在 的 文字 、 声 音 、 图 片 和 视频 的 记录 ， 人 们 可 以 说 已 经 掌握 了 
记忆 的 奥秘 ， 可 以 记录 下 想 要 记录 的 一 切 。 过 犹 不 及 似乎 是 一 条 非常 实 
用 的 真理 ， 在 人 们 可 以 永久 地 、 完 全 地 、 丝 坚 不 工 地 记录 下 一 切 的 时 
候 ， 这 真 的 是 人 们 想 要 的 吗 ? 


超 强 的 记忆 并 不 代表 我 们 将 拥有 超 强 的 学 习 能 力 ， 在 大 量 记忆 下 来 
的 信息 中 ， 提 取 有 效 的 信息 ， 将 其 整理 分 析出 有 效 的 结果 才 是 我 们 最 终 
需要 的 学 习 能 力 。 除 了 有 效 的 信息 外 ， 剩 下 的 信息 垃圾 我 们 就 应 当 将 其 
彻底 遗忘 ， 才 不 会 对 我 们 产生 困扰 和 阻碍 ， 因 此 ， 在 大 数据 时 代 ， 如 何 
提取 有 效 信息 并 记忆 ， 将 大 量 的 、 无 效 的 或 者 过 时 的 信息 删除 并 遗 瑟 ， 
古 我 们 应 当 考 虑 的 一 大 问题 。 






































(二 ) 一 面 了 解 我 们 内 心 的 镜子 


炙手可热 的 黑 科 技 电视 剧 《 黑 镜 》 在 第 三 季 第 一 集中 设计 了 一 个 以 
社交 印象 评分 系统 为 核心 的 社会 。 故 事 设 定 在 科技 发 达 的 未 来 时 代 ， 人 
们 的 眼睛 中 被 植 入 了 类 似 于 隐形 眼镜 的 装置 ， 可 以 实现 裸眼 AR 的 效 
果 。 这 个 世界 存在 一 个 评分 系统 ， 当 你 和 任何 人 产生 任何 社交 行为 后 ， 
都 需要 通过 手中 的 终端 系统 为 其 评分 。 分 数 从 1~5， 代 表 着 你 对 这 个 人 
的 印象 ， 评 分 系统 和 各 项 社会 福利 挂 钓 。 通 常 4.5 分 以 上 的 人 被 认为 是 
高 分 人 群 ， 他 们 可 以 享受 到 更 多 优先 的 社会 资源 ， 比 如 租房 福利 、 机 场 
快速 通道 、 更 优质 的 教育 与 医疗 服务 等 。 而 低 于 2.5 分 的 人 ， 即 使 健康 
健全 也 会 被 看 作 异 类 ， 失 去 工作 和 住房 ， 被 整个 社会 体制 殷 弃 。 有 观点 
认为 ， 黑 镜 的 这 一 设 定 不 仅 “ 把 隐 性 的 东西 显 性 化 ”了 ， 还 在 一 定 程度 上 
诠释 了 征 信 机 构 的 信用 评分 。 

但 是 在 黑 镜 的 设 定 下 ， 上 自我 是 由 他 人 随意 或 认真 地 决定 的 ， 它 只 是 
让 我 们 更 加 清晰 地 认识 到 人 们 对 量化 自我 的 认 知 已 经 非常 深入 了 ， 甚 至 
对 此 展开 了 更 加 深入 的 有 关 社 会 问题 的 思考 ， 表 明 量 化 自我 是 未 来 趋势 
的 所 在 。 而 在 小 数据 的 数据 观 下 ， 量 化 自我 只 是 基于 个 体 行为 ， 为 个 体 
提供 数据 服务 ， 并 不 代表 深层 次 的 社会 含义 。 当 你 打开 滴 滴 出 行 、 网 易 
云 首 乐 、 新 浪 微 博 、 淘 宝 客 户 端 时 ， 你 都 会 或 多 或 少 地 看 到 类 似 于 出 行 
指数 等 各 式 各 样 的 积分 ， 而 这 些 积 分 其 实 只 是 我 们 被 各 类 应 用 软件 所 量 
化 的 结果 。 作 为 个 体 的 全 部 ， 我 们 还 未 完整 地 了 解 自我 ， 或 者 说 真正 地 
了 解数 字 背 后 的 含义 。 

事实 上 ， 我 们 正在 经 历 的 ， 是 一 个 能 够 将 隐藏 在 内 心 的 行为 、 偏 好 
和 感情 逐步 通过 机 器 学 习 等 技术 进行 “ 显 性 化 ”的 过 程 。 这 一 过 程 既是 量 
化 自我 的 过 程 ， 同 样 也 是 认 清 自我 的 过 程 。 全 球 信息 技术 研究 和 顾问 公 
司 Gartner 预 测 ， 随 着 情感 人 工 智 能 日 益 成 熟 ， 个 人 设备 2022 年 将 比 你 的 
家 人 更 了 解 你 的 情绪 状态 ， 它 们 正在 产生 多 种 颠 禾 性 力量 ， 重 塑 我 们 与 
目 我 的 互动 方式 。Gartner 研 究 总 监 Roberta ”Cozza 认 为 : “情感 AI 系统 

















(Emotion AI Systems) 与 情感 计算 (Affective Computing) 正在 赋予 日 

第 物品 探测 、 分 析 、 处 理 和 回应 人 类 感情 和 情绪 的 能 力 ， 由 此 提供 更 准 
确 的 场景 信息 以 及 更 加 个 性 化 的 体验 。” 

而 随 着 第 二 波 潮流 的 涌现 ， 情 感 AI 系 统 将 为 越 来 越 多 的 客户 带 来 更 
具体 、 更 细 化 、 更 深入 的 场景 体验 ， 其 中 包括 : 深度 快乐 体验 、 深 度 翡 
伤 体验 、 深 度 恐 惯 体验 等 。 一 旦 情感 AI 系 统 滩 透 到 这 些 深层 次 的 场景 体 
验 中 ， 人 们 将 会 通过 这 些 个 人 设备 提炼 出 更 多 关于 自己 内 心 的 数据 ， 这 
些 数据 会 像 一 面 镜子 一 样 反映 出 我 们 真实 的 自我 ， 从 而 让 我 们 更 加 了 解 
ER 





(三 ) 个 性 化 的 选择 与 取舍 


小 数据 思维 是 对 个 体 进行 个 性 特征 的 提炼 ， 讲 完 的 是 个 性 化 、 定 制 
化 ， 但 并 非 每 个 行业 都 适用 小 数据 思维 。 比 如 一 些 大 型 企业 为 了 追求 生 
产 效率 ， 往 往 不 喜欢 定制 化 ， 如 芋 果 公司 的 手机 连 内 存 都 不 让 你 加 。 这 
古 因为 不 同行 业 因 为 其 生产 特点 不 同 ， 不 是 所 有 产品 都 适用 于 个 性 化 定 
制 。 智 能 手机 虽然 要 求 个 性 化 ， 但 手机 的 硬件 更 加 标准 化 ， 因 为 这 样 能 
够 最 大 限度 地 降低 成 本 。 在 这 个 时 候 ， 我 们 也 同样 需要 运用 小 数据 思 
维 ， 放 莽 对 多 余 信 息 的 使 用 。 


但 是 让 我 们 深入 思考 一 下 ， 人 们 本 质 上 和 是 喜欢 定制 化 产品 的 ， 根 本 
原因 在 于 人 们 解决 了 生产 效率 的 难题 以 后 ， 个 性 化 才 征 真正 的 目的 。 如 
今 定 制 化 应 用 最 广泛 的 当 属 3D 打 印行 业 ，3D 打 印 已 经 开始 走 进 千家 万 
户 ， 满 足 人 们 个 性 化 定制 需求 ， 实 现 万 物 互联 、 万 物 打印 ， 让 人 们 体验 
到 创意 变 为 现实 的 快乐 。 

当 人 们 走 进深 圳 市 七 号 科技 公司 时 ， 参 观 者 都 会 被 眼前 琳琅 满目 、 
形状 各 异 、 色 彩 斑 痫 的 各 种 3D 打 印 产 品 所 震撼 。 七 号 科技 公司 执行 芋 
事 梁 虹 表 示 : “万 物 万 样 ， 未 来 的 世界 是 个 性 化 的 世界 。”3D 打 印 技术 与 
物 联 网 拉 术 、 大 数据 、 云 计算 、 机 事 人 、 智 能 材料 等 其 他 先进 技术 结 

















合 ， 构 成 了 一 个 智能 产业 生态 系统 。 但 更 为 重要 的 是 ， 设 计 师 可 以 将 各 
种 富有 创新 音义 的 设计 放 到 数据 库 平 台 上 ， 普 通用 户 通 过 物 联 网 技术 可 
以 自由 选择 需要 的 产品 ， 然 后 在 家 里 打印 出 来 ， 从 而 实现 万 物 互 联 、 万 
物 打印 。 


“这 一 平台 可 以 为 设计 师 、 创 客 、3D 打 印 产品 厂商 、3D 打 印 服务 提 
供 商 、 学 校 、 培 训 机 构 、 家 性 消费 者 提供 3D 打 印 设 备 、 设 计 交 易 、 材 
料及 数据 服务 ， 并 为 个 性 化 、 小 批量 生产 创造 云 制 造 环境 ， 帮 助 设计 
师 、 创 客 将 设计 创意 变现 。? 桨 虹 介 绍 。 更 多 的 产品 ， 会 借助 个 性 化 定 
制 ， 回 用 户 提供 更 多 的 个 性 化 设计 ， 这 恰恰 又 是 小 数据 思维 运用 与 选择 
的 最 佳 体 现 。 








《四 ) 从 海量 信息 中 突围 








数据 在 信息 发 达 时 代 并 非 稀缺 因素 ， 获 取信 息 的 渠道 也 越 来 越 丰 
， 一 个 反思 性 的 命题 需要 被 认真 对 待 ， 信 息 越 多 ， 真 的 越 靠 近 真 相 
吗 ? 答案 是 否定 的 。 互 联网 在 产生 大 量 信息 的 同时 ， 也 产生 了 前 所 未 有 
的 信息 噪声 ， 这 会 使 人 们 更 难以 看 清 事物 的 真相 。 但 是 越 来 越 多 的 新 闻 
媒体 平台 开始 运用 小 数据 思维 ， 从 海量 数据 中 提取 出 个 性 化 的 价值 ， 使 
自身 成 为 互联 网 时 代 下 新 闻 媒 体 的 佼佼 者 。 

2014 年 4 月 ， 三 家 国外 媒体 推出 了 各 自 的 新 网 站 ， 分 别 是 Vox 媒 体 
旗下 同名 网 站 Vox，ESPN 旗 下 的 FiveThirtyEight， 以 及 《纽约 时 报 》 旗 
下 的 TheUpshot。 三 个 媒体 网 站 推出 时 间 点 集中 ， 且 定位 也 基本 一 致 : 
基于 数据 的 力量 ， 癌 读者 解释 各 种 复杂 性 事件 。 在 这 些 新 兴 网 站 上 ， 你 
可 以 清楚 地 看 到 诸如 “美国 中 产 阶级 为 何不 再 富有 “民主 和 浣 和 共和 和 觉 应 
对 气候 改变 的 分 歧 根 源 ”“ 网 络 中 立 背 后 的 互联 网 未 来 之 争 ” 这 样 结合 
热点 和 深度 的 选 题 。 它 们 在 还 原 复杂 性 事件 的 起 因 、 结 果 和 意义 时 ， 借 
助 各 种 数据 和 动态 图 ， 加 深 读 者 对 新 闻 事 件 的 理解 。 


和 过 去 的 新 闻 报 道 相 比 ， 这 类 新 兴 的 报道 方式 除了 阐述 “发 生 了 什 


性 
上 























么 ”之 外 ， 它 们 更 在 意 让 读者 了 解 “ 对 我 有 什么 影响 ”。 就 像 TheUpshot 主 
编 Leonhardt 所 说 :“ 在 报道 了 经 济 利好 和 不 利 的 五 个 因素 后 ， 对 读者 真 
正 有 用 的 就 是 要 告诉 他 们 一 一 哪个 因素 影响 范围 最 大 ? 经 济 环 境 到 底 是 
要 变 坏 还 是 变 好 ? ”对 媒体 而 言 ， 它 需要 做 的 是 利用 新 技术 工具 ， 将 真 
正 有 助 于 解释 事件 的 数据 清晰 地 展示 给 读者 。 


今日 头条 ， 也 是 一 个 基于 数据 挖掘 与 提炼 的 新 闻 客 户 端 。 今 日 头条 
给 你 展现 的 是 一 个 清晰 的 、 极 简 的 、 个 性 化 的 、 有 生命 力 的 获取 资讯 的 
工具 ， 但 它 的 实质 是 一 个 为 用 户 推荐 信息 、 提 供 联 接 人 与 信息 的 服务 的 
产品 。 今 日 头条 的 核心 在 于 兴趣 算法 ， 你 喜欢 什么 ， 它 就 给 你 推荐 什 
么 ， 你 爱 看 什么 ， 它 就 给 你 看 什么 ， 让 你 不 再 淹没 在 浩瀚 噶 杂 、 质 量 参 
差 不 齐 的 讯息 当中 。 

上 述 可 以 看 到 ， 无 论 是 国外 的 Vox、FiveThirtyEight、TheUpshot， 
还 是 国内 的 今日 头条 ， 都 是 通过 对 小 数据 价值 的 提炼 ， 对 每 条 信息 进行 
机 器 分 类 、 摘 要 抽取 、 文 本 建 模 (LDA) 主题 分 析 、 信 息 质 量 识别 等 处 
理 ， 最 终 实现 了 数据 到 价值 的 转化 。 




















(五 ) 数据 烯 选 如 何 才能 更 精确 化 


数据 的 收集 是 一 个 考验 执行 力 的 工作 ， 而 数据 的 筛选 考验 的 则 是 思 
维和 分 析 能 力 。 在 实际 决策 中 我 们 遇 到 的 小 数据 往往 经 过 集群 后 再 次 变 
为 巨大 的 数据 量 ， 所 以 为 了 保证 我 们 的 决策 分 析 方 法 能 够 在 收集 数据 的 
文 持 下 得 以 实现 ， 我 们 必须 要 对 数据 进行 得 选 与 分 辨 ， 使 解决 方法 简单 
化 。 但 是 我 们 又 要 保证 筛选 出 来 的 数据 具有 代表 性 ， 使 得 到 的 结果 更 加 
准确 与 真实 。 

那么 如 何在 这 些 纷 楷 复杂 的 信息 中 ， 辨 别 出 有 效 和 有 用 的 信息 ， 供 
目 己 分 析 和 利用 呢 ? 毛泽东 提供 过 一 个 有 用 且 可 行 的 方法 : 分 清 政 我 巴 
盾 和 人 民 内 部 矛盾 。 是 的 ， 掌 握 理 解 事物 的 方法 远 比 理 解 事 物 本 里 要 局 
明 ! 掌握 数据 涌 选 和 状 别 的 方法 远 比 收集 数据 更 有 意义 。 所 以 下 和 面 两 个 





方法 将 会 帮助 你 将 收集 到 的 数据 资料 更 加 精确 化 。 

(1) 角色 互 换 ， 逆 问 思维 。 这 是 数据 整理 和 筛选 的 关键 点 ， 也 和 是 
数据 的 质量 高 低 的 看 点 ， 如 何 设置 评定 返利 网 站 的 参数 可 以 通过 角色 互 
换 来 实现 ， 需 要 特别 注意 的 是 其 核心 就 是 一 份 数据 报表 ， 既 能 让 数据 使 
用 者 看 懂 叉 能 实现 简单 化 。 

(2) 简要 分 析 ， 钊 上 添 伦 。 为 了 让 一 份 数据 汇 总 表 更 加 完美 ， 需 
要 我 们 在 竹 选 出 的 数据 下 方 备注 简要 说 明 ， 特 别 是 全 关 重 要 的 参数 ， 这 
样 就 更 加 方便 理解 。 

例如 ， 桌 上 有 一 锣 彩 色 口 香 糖 ， 你 没 法 看 清 饶 子 里 的 情况 ， 你 却 想 
知道 每 种 颜色 的 口香糖 各 有 多 少 颗 。 此 时 我 们 就 要 换 一 种 思维 ， 为 什么 
不 去 移 看 一 看 鳅 子 里 的 情况 呢 ? 所 以 接 下 来 你 把 一 饶 口 香 糖 统统 倒 在 桌 
子 上 ， 一 颗 颗 数 过 去 ， 便 得 到 了 准确 的 结果 。 

但 是 现实 中 我 们 不 可 能 把 所 有 数据 都 分 析 一 过 ， 你 每 次 只 能 抓 一 
把 ， 然 后 基于 手 里 的 口香糖 去 推测 整个 饶 子 的 情况 。 这 时 候 ， 我 们 就 要 
把 所 抓 取 的 这 把 口香糖 的 数量 和 颜色 数据 记录 下 来 。 然 后 通过 这 种 方 
式 ， 我 们 只 需要 几 次 的 抓 取 ， 就 可 以 通过 方程 式 或 建立 数据 模型 将 问题 
求解 出 来 。 

关键 在 于 我 们 抓 取 数 据 的 清晰 度 如 何 ， 这 一 把 抓 得 越 多 ， 佑 计 值 就 
越 接近 整 缸 的 情况 ， 也 惑 越 容 易 猜 测 ， 相 反 ， 如 果 只 能 抓 到 一 颗 口 香 
糖 ， 那 么 你 几乎 就 无 法 推测 负 子 里 的 情况 。 








三 、 读 异 小 数据 逻辑 


(一 ) 小 数据 逻辑 


“大 数据 ”这 个 “大 ” 字 ， 到 底 是 多 大 ?如 果 说 这 个 “大 ” 字 是 一 个 形容 
词 的 话 ， 那 是 不 是 还 有 “小 数据 交 中 数据 党 次 大 数据 ”..……… 呢 ? 其 实 大 数 
据 这 个 词 的 出 现 ， 并 不 是 仅仅 用 来 形容 数据 很 大 《当然 ， 现 在 有 各 种 V 
来 解释 大 数据 ， 现 在 都 已 经 到 了 11 个 V 了 ) ， 下 面 我 们 引用 鲍 曼 博士 在 
《大 数据 主义 》 中 关于 大 数据 和 小 数据 的 比较 ， 以 帮 有 我们 真正 读 懂 小 数 
据 罗 辑 。 

大 数据 和 小 数据 的 不 同 包括 以 下 10 个 方面 : 目标 《Goals) 、 位 置 
(Location〉、 数 据 结 构 和 内 容 (Data Structure and Content) 、 数 据 准 
备 〈Data Preparation) 、 数 据 生 命 周 期 (Longevity，〉、 衡 量 
(Measurements) 、 可 重复 性 (Reproducibility) 、 成 本 〈Stakes) 、 内 
省 〈JIntrospection) 和 分 析 (Analysis) ， 和 下面， 我 们 对 它们 逐一 进行 解 
释 。 

(1) 目标 。 大 数据 和 小 数据 本 里 存在 的 目标 是 不 一 样 的 。 小 数据 
通常 是 为 了 回答 特定 的 问题 而 存在 ， 或 者 是 为 了 满足 特定 的 目标 。 也 就 
是 说 ， 我 们 是 为 了 解决 特定 的 问题 才 去 收集 、 分 析 、 处 理 指定 的 、 相 关 
的 数据 ， 如 果菜 些 数据 与 我 当前 的 目的 无 关 ， 那 么 我 就 不 会 去 管 它 。 通 
党 在 收集 这 些 数据 之 前 ， 基 本 上 都 对 数据 的 大 致 内 容 有 所 了 解 了 ， 只 不 
过 是 去 收集 具体 的 数据 信息 而 已 。 就 像 我 们 在 设计 数据 库 的 时 候 ， 字 段 
名 称 、 含 义 、 约 束 条 件 ， 都 固定 了 ， 在 属性 填 入 之 前 ， 基 本 上 已 经 知道 
这 个 字段 里 面 大 致 是 什么 内 容 ， 只 不 过 以 后 是 填 入 具体 信息 而 已 。 


但 是 大 数据 不 同 ， 大 数据 收集 的 时 候 只 古 去 考虑 一 个 整体 的 目标 ， 






































而 这 些 目标 可 是 很 灵活 的 ， 针 对 这 个 目标 ， 我 们 会 提出 各 种 各 样 的 问 
题 ， 所 以 没有 人 可 以 完全 地 说 明 大 数据 资源 到 抵 包 含 了 些 什么 内 容 ， 因 
为 一 切 可 能 都 是 没有 被 指定 的 。 

(2) 位 置 。 小 数据 ， 一 般 部 是 存放 或 者 被 包含 在 一 个 机 构 中 ， 通 
常 存 储 在 一 台 计 算 机 中 (或 者 是 一 个 集群 、 一 个 局 域 网 ) ， 有 时候 也 存 
储 在 一 个 (或 者 多 个 ) 文件 以 及 一 个 数据 库 〈 或 者 数据 库 集群 》 中 。 


而 大 数据 通常 届 及 整个 电子 空间 ， 只 要 有 IT 基础 架构 存在 的 地 方 ， 
都 有 可 能 作为 存放 位 置 ， 它 可 能 存放 在 地 球 的 任何 一 个 角落 。 


(3) 数据 结构 和 内 容 。 小 数据 通常 部 是 高 度 结构 化 的 数据 ， 数 据 
域 被 限制 在 一 个 单一 的 学 科 或 者 分 文学 科 中 。 这 些 数据 往往 来 目 统一 的 
形式 记录 的 、 一 个 有 序 的 电子 表格 中 。 

大 数据 就 必须 包含 各 种 非 结 构 化 数据 (如 任意 的 文本 文档 、 图 像 、 
视频 、 音 频 ， 甚 至 是 物理 实体 ) 。 这 些 资 源 的 主题 可 以 跨越 多 个 学 科 ， 
并 在 这 些 资源 中 ， 有 各 种 以 URL (统一 资源 定位 符 〉 的 方式 关联 到 其 他 
的 各 种 看 似 不 相关 的 大 数据 资源 。 

(4) 数据 准备 。 小 数据 在 很 多 情况 下 ， 是 由 数据 的 使 用 者 为 自己 
的 目的 准备 的 数据 。 


大 数据 ， 有 许多 不 同 的 来 源 ， 可 能 经 过 了 许多 人 ， 准 备 数据 的 人 基 
本 上 不 是 最 终 使 用 数据 的 人 。 


(5) 数据 生命 周期 。 在 小 数据 中 ， 当 相关 的 项 目 结束 时 ， 数 据 保 
留 的 时 间 很 有 限 传 统 的 学 术 研究 数据 的 寿命 通常 为 七 年 ) ， 然 后 就 家 
丢弃 了 。 


在 大 数据 项 目 中 ， 数 据 通 常会 被 永久 性 地 存储 。 在 理想 的 情况 下 ， 
存储 在 大 数据 资源 中 的 原始 数据 被 吸收 到 另外 一 个 资源 中 ， 这 样 它 的 生 
命 周 期 才 宣告 结束 。 许 多 大 数据 的 项 目 ， 都 会 延伸 到 未 来 和 过 去 《包含 
和 收集 大 量 的 传统 数据 ， 包 含 和 累积 各 种 前 瞻 性 和 回顾 性 的 数据 〉。 



































(6) 衡量 。 小 数据 的 质量 和 结果 ， 可 以 用 一 组 经 过 试验 的 方案 来 
进行 测量 ， 也 就 是 说 小 数据 的 内 容 可 以 通过 标准 的 方法 来 解析 和 读 取 ， 
一 般 来 说 ， 都 是 通过 一 种 标准 的 协议 来 进行 的 ， 也 可 以 通过 标准 单位 来 
进行 表示 。 


大 数据 中 ， 各 种 不 同类 型 的 数据 提供 了 各 种 不 同 的 电子 格式 ， 所 以 
也 要 用 不 同 的 协议 来 进行 解析 。 如 何 验证 大 数据 的 质量 也 是 数据 管理 中 
最 困难 的 任务 之 一 。 

(7) 可 重复 性 。 小 数据 项 目 中 ， 各 种 技术 或 者 思想 通 闻 是 可 以 重 
用 的 。 比 如 ， 关 于 数据 的 质量 检测 方式 、 数 据 的 重用 性 、 数 据 的 有 效 性 
验证 、 数 据 中 得 出 结论 ， 等 等 。 而 且 整 个 项 目 也 可 以 重复 ， 从 而 产生 新 
的 数据 集 。 


大 数据 项 目的 重用 性 很 少 有 可 行 的 。 在 大 多 数 情况 下 ， 人 们 都 希望 
在 一 个 大 数据 中 出 现 的 错误 被 发 现 后 ， 能 够 被 标记 出 来 。 但 是 在 大 数据 
的 情况 下 ， 就 算 一 个 项 目 在 数据 中 发 现 了 错误 ， 也 没有 办 法 被 标记 出 
来 ， 而 下 一 个 项 目 要 使 用 这 些 数据 进行 分 机， 依然 会 出 现 这 些 错 误 。 


(8) 成 本 。 小 数据 项 目的 成 本 和 代价 是 有 限 的 ， 如 有 果 发 现 了 问 
题 ， 无 论 是 重新 启动 项 目 还 是 放弃 ， 代 价 都 有 限 。 


但 是 大 数据 项 目的 成 本 和 代价 确实 相当 高 唱 。 大 数据 项 目的 失败 可 
能 导致 企业 破产 、 体 制 崩 演 和 大 规模 的 裁员 ， 并 且 所 有 资源 中 的 数据 都 
可 能 突然 解体 。 比 如 ，2004 年 至 2010 年 ， 美 国 国立 卫生 研究 院 成 立 了 高 
达 3.5 亿 美元 的 大 数据 项 目 “NCI 癌 症 生 物 信 息 网 格 ”(NCI Cancer 
Biomedical Informatics Grid) 。 专 家 委员 会 审阅 发 现 ， 尺 管 经 过 数 百 名 
研究 人 员 和 专家 的 努力 ， 项 目 己 经 完成 了 部 分 ， 但 是 其 代价 极为 高 昂 ， 
之 后 只 能 被 暂停 ， 并 且 最 终 被 终止 。 

(9) 内 省 。 小 数据 的 各 个 数据 坐标 ， 都 是 用 数据 在 电子 表格 和 数 


据 库 中 的 行 和 列 来 定位 的 。 如 有 宁 知 道行 和 列 ， 那 么 就 可 以 很 容易 地 寻找 
到 相应 的 所 有 数据 。 



































在 大 数据 中 ， 除 非 数据 的 组 织 经 过 精心 的 设计 ， 不 然 资源 的 内 容 和 
组 织 都 会 让 人 和 觉得 高 深 更 测 ， 甚 至 资源 管理 需 本 身 都 无 法 定位 精确 的 数 
据 信 息 。 而 对 于 数据 组 织 内 部 信息 的 完全 访问 方式 ， 可 以 通过 一 种 称 之 
为 “内 省 ”的 技术 来 实现 。 


(10) 分 析 。 在 小 数据 中 ， 大 多 数 情况 下 ， 整 个 项 目 中 的 数据 ， 都 
可 以 一 次 性 全 部 参与 到 分 析 中 。 


但 是 在 大 数据 中 ， 除 了 少数 例外 ， 比 如 ， 使 用 超级 计算 机 ， 或 者 在 

台 计 算 机 上 同时 进行 ， 大 数据 通常 是 通过 分 布 式 的 方式 进行 分 析 ( 如 
使 用 Map Reduce) 。 这 些 数据 会 通过 提取 、 评 佑 、 聚 合 、 归 一 化 、 转 
换 、 可 视 化 、 诠 释 等 不 同 的 方法 进行 分 析 。 














(二 ) 为何“ 聪明 ”算法 反 误 事 ? 


对 于 大 多 数 管理 者 来 说 ， 做 预测 是 工作 的 一 部 分 : HR 决定 聘用 人 
选 ， 是 预测 谁 工作 最 出 色 ; 营销 人 员 选 择 分 销 渠道 ， 是 预测 产品 在 哪里 
最 好 卖 ， 风 险 投 资 人 决定 是 否 投资 东家 初创 企业 ， 是 预测 它 能 售 成 功 。 
为 做 好 种 种 商业 预测 ， 越 来 越 多 的 企业 现在 求助 于 计算 机 算法 一 一 这 种 
技术 能 以 惊人 的 速度 完成 超大 规模 的 分 析 过 程 。 

虽然 算法 能 让 预测 更 准确 ， 但 也 会 带 来 风险 ， 尤 其 是 在 我 们 不 理解 
这 些 算法 的 情况 下 。 诸 如 此 类 的 例子 不 胜 枚 举 。 


Netflix 为 了 更 精确 地 了 解 用 户 看 电影 的 口味 ， 曾 拿 出 100 万 美元 征 
集 内 容 推荐 算法 ， 很 多 数据 科学 家 组 队 参 赛 。 然 而 ， 这 种 算法 只 在 用 户 
挑选 DVD 时 能 较为 准确 地 推荐 ， 随 着 Netflix 的 用 户 转 疝 在 线 电 影 ， 其 偏 
好 与 算法 的 预测 结果 就 会 出 现 偏离 。 

为 一 个 例子 是 社交 并 体 。 现 在 很 多 社交 网 站 通过 算法 决定 推送 哪些 
“ 告 和 和 链接， 如果 设计 算法 时 过 于 侧重 点 击 量 ,“ 骗 反击 ”的 内 容 就 会 充 
斥 网 站 。 虽 然 点 击 量 上 升 了 ， 但 整体 用 户 满意 度 可 能 会 直线 下 降 。 

















上 述 问题 的 根源 通 冲 并 非 算 法 本 身 有 漏洞 ， 而 是 对 算法 使 用 不 当 。 
为 避免 犯错 ， 管 理 者 需 首 先 了 解 算法 的 功能 和 局 限 :， 它 能 解决 哪些 问 
题 ， 不 能 解决 哪些 问题 。 


(三 ) 小 数据 应 用 是 精细 化 运营 的 一 种 趋势 


目前 我 们 已 经 迈 入 了 数据 时 代 ， 企 业 在 运营 方式 上 相对 应 的 已 经 发 
生 了 改变 ， 它 们 正 从 最 初 的 粗放 式 运营 逐步 向 精细 化 运营 过 渡 ， 而 小 数 
据 应 用 更 是 成 为 精细 化 运营 的 一 种 趋势 。 

一 方面 随 着 互联 网 、 媒 体 、 用 户 、 市 场 的 变化 ， 企 业 发 现 过 去 它们 
所 做 的 粗放 式 运 营 已 经 不 能 有 效 地 提升 效率 和 增加 企业 用 户 了 ， 所 以 ， 
一 些 企业 开始 找寻 新 的 运营 方式 ， 重 新 设 定 KPI 指 标 ， 比 如 ， 逐 渐 转 变 
为 CPM 〈 每 千 人 成 本 ) 化 的 精细 化 经 营 ， 通 过 这 种 小 数据 使 用 方式 的 改 
变 来 提升 运营 的 效率 ， 使 企业 广告 投放 效率 尽 可 能 地 最 大 化 。 

另 一 方面 对 企业 而 言 打造 精细 化 运营 的 好 处 在 于 可 以 对 目标 用 户 群 
体 或 者 个 体 进行 特征 和 画像 的 追踪 与 画像 ， 通 过 小 数据 分 析 帮 助 企 业 分 
析 用 户 在 某 个 时 间 段 内 容 的 特征 和 习惯 ， 最 后 让 企业 形成 一 种 根据 用 户 
特性 而 打造 的 专属 服务 。 

正 因 为 如 此 ， 企 业 运 营 在 数据 时 代 ， 需 要 进行 精细 化 运营 才能 更 好 
地 从 管理 、 营 销 方 面 提 升 用 户 的 服务 体验 ， 同 时 根据 差异 化 的 服务 让 运 
营 更 加 精细 化 。 


让 我 们 看 一 个 关于 精细 化 运营 的 例子 ， 某 商城 为 了 更 好 地 提升 运营 
效率 ， 合 理 运用 了 小 数据 帮助 其 改善 运营 情况 。 首 移 该 商城 根据 每 个 客 
户 的 自身 属性 进行 用 户 属性 分 析 ， 有 效 地 进行 消费 者 洞 绎 ， 方 便 企业 做 
出 精准 用 户 男 像 ， 这 并 不 是 什么 所 谓 的 大 数据 运用 ， 相 反 它 是 将 个 体 小 
数据 进行 量化 后 使 用 ， 然 后 根据 分 析出 来 的 用 户 属性 进行 客 群 的 划分 ， 
找到 用 户 的 价值 和 偏好 等 属性 ， 再 把 用 户 和 不 同 品牌 、 不 同 品类 的 产品 




















进行 差异 化 拼 配 ， 找 到 相关 性 〈 如 图 12-1 所 示 ) ;， 最 后 根据 这 些 做 客流 
的 引导 ， 其 实 这 就 是 一 种 小 数据 的 运营 手段 。 


在 精细 化 运营 的 过 程 中 ， 该 商城 准确 地 找到 用 户 喜 好 和 兴趣 ， 然 后 
根据 所 得 结果 进行 精细 化 运营 ， 提 升 了 企业 的 运营 效率 和 转化 率 。 


” © 





图 12-1 某 商 城 精细 化 运营 流程 图 


《四 ) 利用 小 数据 改善 散 客 旅游 者 的 旅游 体验 





小 数据 应 用 的 范围 非 党 广泛。 例如， 在 旅游 业 中 ， 由 于 现代 社会 经 
济 的 不 断 发 展 ， 人 们 的 生活 水 平 渐渐 提高 ， 出 游 的 动机 越 来 越 强烈 ， 更 
加 而 望 去 退 求 精神 和 心肝 上 的 愉悦 感 。 但 人 们 已 经 不 满足 于 现在 的 团队 
旅游 ， 开 始 倾 回 于 自由 和 个 性 化 的 出 游 方 式 。 散 客 旅 游 在 旅游 市 场 上 占 
的 比重 越 来 越 大 ， 世 界 旅 游 市 场 上 ， 散 客 旅游 已 经 成 为 主导 力量 ， 我 国 
的 旅游 业 也 在 由 传统 的 团队 旅游 癌 散 客 旅游 转变 。 散 客 旅游 者 追求 个 性 
化 ， 对 旅游 企业 与 旅游 景区 有 了 更 高 的 要 求 。 


小 数据 以 用 户 个 性 化 为 中 心 ， 能 够 对 用 户 相关 信息 进行 深度 细 分 ， 








对 用 户 服 务 市 场 、 对 象 和 内 容 的 定位 更 加 精确 。 在 旅 洲 业 中 ， 在 散 客 开 
始 占 据 旅 游 市 场 主导 地 位 的 情况 下 ， 小 数据 主要 是 以 散 客 旅游 者 ， 作 为 
数据 采集 、 处 理 、 分 析 和 决策 的 对 象 ， 小 数据 可 以 在 大 数据 宏观 分 析 决 
策 的 基础 上 ， 更 加 深入 、 更 加 细致 地 挖掘 游客 行为 特征 、 旅 游 需求 ， 为 
散 客 旅游 者 提供 基于 小 数据 的 精准 个 性 化 旅游 推送 服务 。 

目前 ， 国 内 的 旅游 企业 和 旅游 景区 已 纷纷 采用 基于 小 数据 的 散 客 旅 
游 者 的 个 性 化 服务 决策 ， 它 们 通过 对 散 客 旅游 者 小 数据 的 采集 、 价 值 提 
取 、 局 速 实时 计算 、 分 析 与 决策 、 决 策 结果 的 可 视 化 表示 等 过 程 ， 提 融 
旅游 企业 和 旅游 景区 个 性 化 服务 模式 构建 和 服务 推送 的 有 效 性 。 

从 小 数据 决策 流程 可 以 看 到 ， 小 数据 主要 先 通过 网 络 和 移动 终端 等 
进行 小 数据 的 采集 ， 然 后 进行 数据 噪声 过 小 、 数 据 处 理 与 融合 、 数 据 分 
析 与 决策 、 散 客 旅游 者 个 性 化 服务 决策 方案 的 展示 ， 最 后 得 到 小 数据 文 
持 下 的 个 性 化 服务 的 提供 与 保障 。 


但 是 ， 小 数据 的 应 用 也 并 非 万 能 的 ， 它 与 大 数据 一 样 ， 同 样 需要 我 
们 进一步 增加 学 习 、 分 类 、 辨 析 能 力 ， 做 好 数据 可 造 性 的 验证 工作 。 











由、 竺 握 小 数据 的 留 芒 


中 


(一 ) 大 数据 与 小 数据 的 智 意 


古人 云 :“ 圣 人 见 微 知 普 ， 睹 始 知 终 。” 道 家 的 一 部 重要 著作 《淮南 
子 ' 资 山 训 》 中 说 :“ 以 小 明 大 ， 见 一 叶 落 而 知 终 之 将 萌 ， 睹 瓶 中 之 水 而 
知 天 下 之 去 。"” 意 思 是 说 ， 看 见 一 片 落叶 ， 束 知道 秋天 来 临 ， 看 到 瓶 中 
水 结 冰 ， 就 知道 天 气 的 赛 冷 程度 ， 这 是 对 见 微 知 闭 的 形象 比喻 。 

在 日 第 生活 中 ， 大 家 都 会 有 一 些 不 以 为 意 的 “小 症状 "和 “小 病征 ”， 
像 介 冷 、 介 热 、 头 坚 、 上 胃口 不 好 、 打 唱 、 睡 党 打 呼 噜 、 瘙 痒 、 局 部 淋巴 
结 肿 大 等 。 这 些 看 起 来 无 关 紧 要 的 小 病 小 痛 很 容易 被 人 们 忽略 为 一 时 的 
吴 体 不 适 ， 尽 管 大 多 数 情况 下 确实 是 这 样 ， 但 是 这 些小 症状 也 有 可 能 是 
东 些 严重 疾病 的 征兆 ， 如 果 不 小 心 对 待 、 认 真 观 察 ， 对 这 些 危险 的 征兆 
视而不见 ， 就 可 能 错过 疾病 的 最 佳 诊 断 治疗 期 ， 造 成 严重 的 后 果 ， 后 悔 
砚 及 。 只 有 认 清 “来 者 不 善 ?的 小 病痛 ， 及 时 进行 检查 和 就 医 ， 才 能 避免 
耽误 病情 而 造成 不 良 后 果 。 可 谓 小 事 非 小 ， 须 见 微 知 著 。 

有 一 名 俗语 “小 时 偷 针 ， 大 时 偷 金 "， 也 叫 “ 三 岁 看 到 老 ?， 是 说 从 一 
个 小 孩 的 言行 举止 吏 可 以 看 到 他 长 大 后 的 品行 个 性 ， 知 小 孩 成 长 过 程 中 
出 现 一 些 不 好 的 习惯 ， 或 者 目 控 能 力 较 低 的 不 恨 行径 ， 如 小 偷 小 摸 、 抢 
夺 别 人 玩具 占 为 己 有 等 ， 可 能 在 其 未 来 也 会 出 现 类 似 的 甚至 更 严重 的 行 
为 。 这 人 句 俗语 目前 也 得 到 了 科学 家 的 证 实 。 

据悉 ， 有 调查 显示 ， 几 是 被 检查 出 “自控 能 力 ” 低 于 同龄 孩子 的 3 岁 
儿童 ， 当 他 们 成 年 时 ， 一 般 在 32 岁 左右 的 时 候 ， 往 往 会 过 到 健康 上 或 者 
经 济 上 的 各 种 问题 ， 甚 至 会 走 上 犯罪 的 歧途 。 专 家 还 强调 ， 这 些 问题 与 
孩子 的 情商 、 家 性 背景 等 客观 因 系 苋 然 双 无 关系 。 















































研究 员 通 过 针对 调查 新 西 兰 出 生 于 1972~1973 年 的 1000 名 新 生 儿 童 
数据 后 了 解 到 ， 凡 是 被 记载 缺少 容忍 度 、 缺 少 煞 力 以 及 达到 目标 的 持 之 
以 恒 的 态度 或 者 凡事 “做 事 不 经 过 脑子 ”的 儿童 ， 在 成 长 的 过 程 中 ， 特 别 
是 到 年 龄 仿 大 的 时 候 ， 会 遇 到 很 多 健康 上 的 问题 ， 比 如 ， 高 血压 、 体 重 
过 腾 、 呼 吸 问题 以 及 性 传播 疾病 。 他 们 更 容易 受到 诱惑 ， 如 香烟 、 酒 精 
甚至 毒品 等 ， 这 些 诱惑 往往 会 引诱 他 们 一 步 一 步 走 同 犯罪 的 深 渊 ， 调 查 
显示 ， 自 控 能 力 低 的 儿童 在 日 后 处 理 经 济 上 会 有 问题 ， 容 易 偏离 方向 。 
英国 皇家 学 院 的 研究 员 泰 瑞 : 莫 菲 特 〈Terrie ”Moffitt〉 博士 称 : “社会 赋 
予 了 儿童 在 自控 能 力 、 自 我 管理 等 方面 的 需要 ， 这 些 能 力 与 儿童 的 年 龄 
无 关 。 小 时 候 怎 么 样 ， 大 了 就 会 怎么 样 。 我 们 的 实验 首次 证 明了 有 超 强 
意志 力 的 儿童 会 拥有 一 个 相对 比较 健康 和 富足 的 成 年 时 期 的 理论 。” 


“以 小 见 大 ?就 是 从 个 别 来 表达 一 般 或 从 局 部 来 表达 全 体 ， 在 诗歌 中 
以 小 见 大 的 手法 非常 常见。 如 “ 缩 龙 代 尺 “ 尺 水 兴 浪 “滴水 藏 海 * 尽 幅 干 
里 “以 一 当 十 ”一 点 红 现 无 边 春 “ 以 数 讶 而 统 万 象 * 一 粒 沙里 见 世 
界 ”* 半 准 花 上 说 人 情 ? 等 ， 都 是 在 十 行 百 字 内 表现 更 为 广阔 索 多 的 社会 
生活 ， 真 可 谓 “ 戴 着 镭 钞 的 舞蹈 ”， 其 诗意 和 难度 都 非 比 寻 钟 。 再 如 ， 佛 
教 中 的 “一 花 一 世界 ， 一 叶 一 普 提 ”， 与 诗歌 有 有 异曲同工 之 妙 ， 从 小 处 观 
大 处 ， 从 细微 观 世 界 。 

一 般 来 说 ， 对 于 大 的 现象 与 变化 ， 人 们 往往 是 能 够 注意 的 ， 而 对 于 
小 的 现象 与 变化 ， 却 常常 会 忽视 ， 这 也 许 正 是 需要 我 们 格外 关注 的 。 因 
此 《淮南 子 : 兵 略 训 》 中 特地 提醒 道 ,“ 下 至 介 鲜 ， 上 及 羽毛 ， 条 修 叶 
贯 ， 万 物 百 族 ， 由 本 至 末 ， 英 不 有 序 ”。 就 是 说 ， 下 到 介 虫 、 鲜 虫 ， 上 
到 鸿毛 、 羽 毛 ， 像 干校 万 叶 一 样 ， 都 员 通 联系 着 万 物 百 族 。 从 根本 到 末 
梢 ， 都 是 有 条 理 的 。 只 有 既 注 重大 的 方面 ， 又 不 忽视 小 的 方面 ， 才 能 使 
目 己 立 于 不 败 之 地 。 

客观 世界 中 ， 事 物 间 存 在 着 千 丝 万 缕 的 联系 。 改 变 了 一 个 事物 ， 必 
然 也 牵动 了 与 之 相关 联 的 事物 。 其 他 被 牵动 的 事物 ， 改 变 了 存在 的 方 
式 ， 也 留 下 了 “蛛丝马迹 ”。 


















































“ 见 微 知 著 ”， 就 是 要 寻找 深 藏 在 “冰山 ”之 下 的 “蛛丝马迹 ”， 并 以 此 
发 现 事物 的 本 质 。 

在 获得 大 量 资讯 的 基础 上 ， 必 须要 对 这 些 资 讯 进行 一 番 去 伪 存 真 的 
筛选 ， 避 免 被 假象 和 错觉 迷惑 了 视线 。 接 着 对 判断 确定 为 真实 的 资讯 ， 
做 由 表 及 里 、 由 此 及 彼 、 由 明 及 暗 的 推理 ， 把 握 问 题 的 实质 。 否 则 也 区 
难以 达到 “ 见 微 知 兰 ， 见 问 知 来 ”的 境界 。 

取 明 人 见 一 叶 可 以 知 秋 ， 昌 钝 者 往往 是 因 一 叶 而 障 目 ， 其 中 的 根本 
区 别 就 在 于 是 人 否 具 有 从 微小 事物 中 把 握 大 局 的 统 御 能 力 。 小 问题 可 能 会 
帝 来 大 祸患 ， 小 变化 可 能 引起 大 事件 ， 如 条 你 能 从 事物 细微 处 颖 见 其 特 
性 和 全 瑶 ， 在 其 处 于 萌 革 时 期 融 能 测 知 其 将 来 的 发 展 趋势 ， 就 可 以 说 已 
经 具备 一 种 生活 的 大 智慧 了 。 








(二 ) 星座 到 的 徘 不 徘 详 


2000 多 年 前 希腊 的 天 文学 家 希 巴 克 斯 (Hipparchus， 西 元 前 
190~120) 为 标示 太阳 在 黄道 上 观 行 的 位 置 ， 束 将 黄道 带 分 成 12 个 区 
段 ， 以 春分 点 为 0%?， 自 春分 点 〈 即 黄道 零度 ) 算 起 ， 每 阳 30° 为 一 宫 ， 
并 以 当时 各 富 内 所 包含 的 主要 星座 来 俞 名 ， 依 次 为 : 白 羊 、 金 牛 、 双 
子 、 巨 蟹 、 狮 子 、 室 女 〈 处 女 ) 、 天 秤 、 天 蝎 、 人 马 〈 射 手 ) 、 摩 羯 、 
宝 瓶 〈 水 瓶 ) 、 双 鱼 ， 称 之 为 黄道 十 二 宫 ， 总 计 为 12 个 星 群 。 在 地 球 运 
转 到 每 个 等 份 〈 星 群 ) 时 所 出 生 的 人 ， 属 于 相应 的 星座 ， 按 占星 理论 来 
讲 : 不 同 的 星座 的 人 性 格 、 心 理 及 天 赋 存 在 差异 。 

第 一 个 尝试 对 星座 进行 分 析 的 是 汉 斯 :- 艾 森 元 (Hans Jiirgen 
Eysenck，1916 一 1997 年 ) 教授 ， 现 代 人 格 科学 理论 的 主要 页 献 者 。 他 
一 生 致 力 于 量化 人 性 中 的 某 些 因素 ， 对 于 星座 与 性 格 的 关系 ， 他 进行 过 
有 趣 的 实验 。 

艾 森 元 人 格调 查 表 是 著名 的 心理 学 量 表 ， 每 个 量 表 有 50 多 个 不 同 的 


























描述 ， 接 受 调 碍 者 需要 给 每 一 个 描述 选择 “是 ?或 者 “ 否 ”。 根 据 这 些 答 

和 案 ， 能 够 分 析出 在 “内 回 一 外 癌 ” 和 "神经 质 ? 两 个 维度 的 人 格 特征 。 如 果 
根据 占星 传说 ，12 个 星座 中 有 6 个 仿 外 疝 星座 和 6 个 偏 内 向 星座 。 外 同 星 
座 包括 : 日 羊 、 双 子 、 狮 子 、 天 秤 、 射 手 、 水 瓶 。 而 内 向 星座 则 包括 : 
人 金牛、 巨蟹、 处女、 天蝎、 摩羯 、 双 鱼 。 


另外 ， 三 种 土 象 星座 的 人 人 金牛、 处女 与 摩羯 〉 更 能 保持 情绪 稳定 
和 心态 平和 ， 而 三 种 水 象 星 座 的 人 《巨蟹 、 天 蝎 与 双鱼 ) 则 相对 更 神经 
质 一 些 ， 情 绪 和 心态 也 更 容易 出 现 波 动 。 


那么 事实 真 的 如 此 吗 ? 艾 森 元 决定 做 一 个 心理 学 实验 。 在 被 很 多 占 
星 学 家 拒绝 后 ， 艾 森 殉 和 英国 著名 的 占星 学 家 杰 夫 : 梅 奥 联 手 做 了 一 个 
人 格调 但。 梅 奥 几 年 前 开办 了 一 个 占星 学 院 ， 有 遍布 全 世界 范围 的 学 
生 。 他 们 从 中 选 了 2000 多 人 进行 了 调查 ， 要 求 这 些 人 提供 自己 的 出 生日 
期 ， 并 且 完 成 艾 森 殉 的 人 格 问 卷 。 


结果 让 所 有 人 大 吃 一 惊 : 这 些 人 的 性 格 特征 与 星座 的 性 格 描述 完全 
一 到 | 


星座 与 外 向 有 关 的 人 在 外 癌 特 质 的 得 分 的 确 要 比 其 他 人 高 一 些 ; 与 
土 象 星座 的 人 相 比 ，3 个 水 象 星 座 的 人 在 神经 质 上 的 得 分 也 明显 要 高 出 
一 截 。 占 星 学 期 刊 《现象 》 因 此 宣称 ， 这 些 发 现 * 可 能 是 本 世纪 占星 学 
上 最 为 重要 的 进展 ”。 

在 占星 学 界 一 片 欢 呼声 中 ， 艾 森 殉 本 人 却 开始 怀疑 ， 他 突然 意识 到 
目 己 的 样本 选 得 有 问题 ， 他 选择 了 一 批 对 星座 笃信 不 疑 的 人 来 做 实验 。 
这 批 人 相当 于 已 经 被 安装 了 一 个 关于 “星座 性 格 决 定论 ”的 心智 模式 ， 所 
以 在 他 们 的 世界 中 ， 星 座 和 性 格 就 是 相关 的 。 

有 了 这 个 想法 ， 艾 森 克 做 了 下 一 个 实验 :实验 的 对 象 是 1000 名 孩 
子 ， 他 们 几乎 不 可 能 昕 说 过 性 格 与 星座 之 间 的 关系 。 这 一 次 ， 调 但 结果 
有 了 颠覆 性 的 变化 : 孩子 们 在 内 同一 外 问 和 神经 质 两 个 特质 上 的 得 分 跟 
他 们 的 星座 完全 没有 任何 关联 。 



































这 个 实验 绩 果 狠 狠 地 打击 了 占星 学 界 心理 学 家 ， 原 来 被 认为 是 “ 占 
星 学 的 代言 人 和 保护 神 ”， 却 突然 倒戈 一 击 。 对 此 ， 占 星 学 界 给 出 了 他 
们 目 己 的 解释 : 这些 孩 子 还 没有 成 熟 ， 还 没有 发 展 出 他 们 星座 赋予 的 性 
格 。 

针对 这 个 解释 ， 艾 森 克 做 了 第 三 次 实验 : 这 一 次 他 选择 的 调查 对 象 
征 成 年 人 。 他 们 对 占星 学 的 了 解 程度 深浅 不 一 。 调 查 发 现 ， 如 果 调 碍 对 
象 很 清楚 星座 对 性 格 有 何 影响 ， 他 们 的 问 郑 结果 跟 占 星 学 传说 就 非常 吻 
合 。 相 反 ， 如 果 调 碍 对 象 对 占星 学 没有 太 多 了 解 ， 他 们 的 问卷 结果 就 跟 
占星 学 传说 不 那么 一 致 了 。 

实验 进行 到 这 步 ， 结 论 已 相当 明确 : 人 们 会 因为 对 目 己 “星座 性 
格 ” 的 相信 ， 就 慢 慢 发 展 成 那样 的 性 格 。 星 座 一 性 格 的 心智 模式 不 仅 让 
他 们 看 到 那样 的 世界 ， 也 让 他 们 相信 那 就 是 自己 的 性 格 ， 然 后 按照 那样 
的 性 格 来 生活 ， 最 后 真正 成 为 星座 描述 的 人 。 简 单 来 说 :人们 真 的 会 变 
成 目 己 党 得 “应 该 成 为 "的 人 。 

这 个 案例 说 明 ， 通 过 2000 人 检验 得 出 的 数据 结论 并 不 一 定 比 通过 
1000 人 检验 得 出 的 结论 正确 ， 因 为 我 们 在 检验 数据 结论 的 同时 ， 往 往 会 
加 入 一 些 主观 因素 的 “小 数据 *， 由 于 小 数据 的 加 入 ， 原 本 数据 的 预测 结 
果 就 会 出 现 不 一 样 的 变化 。 




















(三 ) 21 点 游戏 的 启示 





把 数据 当 作 绝 对 真理 来 看 是 族人 的 ， 因 为 我 们 把 数值 和 事实 联系 在 
了 一 起 。 但 在 现实 情况 中 ， 往 往 大 部 分 数据 是 估算 的 ， 并 不 精确 。 分 析 
师 会 研究 一 个 样本 ， 并 据 此 预测 整体 的 情况 ， 但 是 这 样 的 预测 具有 不 确 
定性 。 很 可 能 每 天 你 都 在 做 同样 的 事情 ， 你 会 基于 自己 的 知识 和 见闻 来 
预测 ， 而 且 大 多 数 时 候 你 能 确定 预测 结果 是 正确 的 。 但 你 真 的 全 部 正确 
吗 ? 数据 往往 只 是 有 根据 的 推测 ， 即 便当 前 你 做 出 了 最 正确 的 选择 ， 并 
不 意味 着 所 有 的 事实 都 会 按照 你 的 预测 进行 下 去 ， 最 终结 果 你 还 是 有 可 














在 21 点 游戏 中 ， 有 一 名 庄家 和 一 名 玩家 ， 庄 家 给 每 个 人 发 两 张 牌 
《其 中 一 张 面向 下 盖 住 ) ， 目 的 是 让 牌 面 总 和 尽 可 能 接近 21 点 ， 而 不 能 
超出 。 你 可 以 选择 继续 要 牌 ， 或 者 停牌 。 有 时 候 ， 你 可 以 双 倍 下 注 ， 下 
注 越 多 ， 赢 得 越 多 。 如 果 点 数 超出 21 点 ， 你 就 输 了 。 如 果 没 超出 ， 轮 到 
庄家 要 有 牌 或 停牌 时 ， 接 近 21 扣 的 说 。 


根据 游戏 的 设计 ， 庄 家 的 牌 是 后 手 ， 所 以 他 更 有 优势 。 但 是 每 当 你 
要 牌 或 者 停牌 的 时 候 ， 你 可 以 削弱 庄家 的 优势 。 规 则 的 设计 是 基于 平均 
的 情况 ， 但 每 一 个 玩 过 21 点 的 人 都 会 对 你 说 ， 每 手 牌 都 存在 者 不 确定 
性 。 例如， 假设 你 拿 了 一 张 5 和 一 张 6， 总 和 是 11 点 。 庄 家 的 明 牌 是 6。 
根据 数据 推断 ， 你 再 要 一 张 牌 100% 不 会 爆 掉 ， 而 且 很 有 可 能 得 到 21 
点 ， 而 庄家 很 有 可 能 在 有 一 张 明 牌 是 6 的 情况 下 要 牌 直接 爆 掉 。 于 是 正 
第 情况 下 你 选择 双 倍 下 注 ， 然 后 使 到 一 张 9， 总 数 是 20 点 ， 情 况 很 棒 。 

接 下 来 庄家 翻 开 他 的 暗 牌 ， 是 10， 总 点 数 是 16。 哎 哟 ， 你 的 运气 还 
不 错 。 按 照 规 则 ， 庄 家 要 想 赢 你 必须 继续 要 牌 ， 而 且 有 35% 的 概率 庄家 
要 牌 会 爆 掉 。 庄 家 只 有 要 到 一 张 5 的 情况 下 你 才 会 输 ， 而 此 时 你 手中 已 
经 有 一 张 5 了 ， 他 要 到 5 的 概率 不 足 5%。 


结果 庄家 要 到 了 一 张 3， 总 数 19 点 ， 你 大 千 一 口气 。 可 是 你 态 了 ， 
庄家 还 没有 到 21 扣 ， 你 们 可 以 继续 要 脾 。 你 距 21 点 只 差 1， 庄 家 距 21 反 
只 差 2， 在 这 种 情况 下 你 要 脾 爆 挥 的 概率 已 经 比 庄 家 大 了 1 售 。 


于 是 你 没有 要 牌 ， 总 数 还 是 20 点 。 你 现在 期 望 的 是 庄家 要 牌 后 有 
83% 的 概率 直接 焊 反 。 结 果 ， 庄 家 要 到 了 一 张 2。 庄 家 总 点 数 21 点 。 你 
输 了 了 。 

如 果 你 没有 双 倍 下 注 ， 相 比 刚才 的 选择 ， 你 只 会 输 挥 一 半 的 钱 。 但 
征 相 比 最 正确 的 选择 ， 只 要 你 玩 了 这 局 游戏 ， 其 实 你 都 是 错误 的 。 数 字 
看 上 去 是 具体 的 和 绝对 的 ， 但 是 估算 却 带 来 了 不 确定 性 。 而 在 庄家 做 手 
脚 的 情况 下 ， 一 切 数据 的 预测 都 将 没有 意义 。 
































四) 利用 小 数据 进行 数据 可 等 性 验证 





随 着 市 场 需 求 的 牵引 和 要 求 不 断 地 提高 ， 数 据 可 靠 性 验证 和 评价 技 
术 也 在 探索 中 不 断 发 展 、 改 进 。 市 场 对 数据 可 靠 性 的 需求 越 来 越 高 ， 而 
高 可 靠 数据 的 验证 也 越 来 越 难 。 其 难点 在 于 : 

(1) 数据 密度 越 来 越 高 ， 对 可 靠 性 特征 的 把 握 难 度 大 。 

(2) 数据 更 新 友 代 越 来 越 快 ， 用 以 借鉴 的 可 靠 性 信息 少 。 

(3) 数据 获取 价格 和 试验 费用 越 来 越 党 ， 成 本 上 不 允许 获取 大 样 
本 。 

(4) 数据 使 用 周期 越 来 越 短 ， 时 间 上 不 允许 获取 大 样本 。 

基于 这 些 难点 ， 在 数据 可 靠 性 验证 中 ， 用 来 验证 可 靠 性 的 样本 并 不 
古 很 多 ， 而 市 场 对 可 徘 性 要 求 达 到 的 指标 却 很 高 ， 这 就 更 充分 地 说 明 数 
据 可 靠 性 验证 的 重要 性 。 而 在 这 种 情况 下 ， 我 们 也 可 以 利用 小 数据 思维 
去 提高 数据 可 靠 性 检验 的 有 效 性 。 

一 是 我 们 可 以 在 整体 数据 中 加 入 更 多 的 干扰 ， 充 分 利用 不 断 加 入 的 
小 数据 去 测试 整体 数据 结果 的 可 靠 性 。 

二 是 我 们 可 以 将 小 数据 进行 集群 ， 在 小 数据 样本 的 基础 上 拟 合 出 更 
大 的 数据 ， 儿 助 我 们 不 断 提高 数据 检测 结果 的 有 效 性 。 

三 是 我 们 可 以 将 小 数据 进行 敢 回 使 用 ， 通 过 模拟 一 组 与 小 数据 完全 
相反 或 者 完全 错误 的 数据 来 检验 整体 模型 的 排 异性 。 

四 是 在 我 们 有 条 件 的 情况 下 可 以 将 小 数据 进一步 拆 分 ， 以 检验 整体 
模型 结果 的 适 配 性 。 





























五 、 成 为 小 数据 科学 家 


(一 ) 人生 也 是 一 场 小 数据 的 积 索 


“数据 ”二 字 含 义 广泛 ， 它 不 仅 指 阿拉 伯 数 字 ， 还 泛 指 数据 信息 。 数 
据 已 融入 我 们 的 生活 ， 也 改变 着 我 们 人 生 的 道路 。 

英国 BBC 公司 一 档 节 目 给 出 了 一 组 “人 生 数 据 ”: 我 们 在 100 岁 生日 
之 前 ， 会 流出 145 公 斤 的 唾液 ， 为 了 成 长 ， 我 们 要 花 3 年 半 的 时 间 来 吃 东 
西 ， 会 排出 4 万 公斤 的 尿 液 ， 为 了 养活 自己 及 家 人 ， 我 们 平均 要 花费 
8~10 年 的 时 间 坐 在 办 公 宋 前 工作 ; 我们 会 认识 差不多 2000 个 人 ， 选 择 大 
概 150 个 人 做 朋友 ; 除了 躺 在 床上 的 20 多 年 ， 需 要 花费 两 年 半 时 间 打 电 
话 ，12 年 时 间 看 电视 ，12 年 时 间 讲 话 ， 还 要 留 两 周 时 间 品 党 甜 蜜 的 吻 。 


与 此 同时 ， 人 生 的 数据 也 在 不 断 地 积累 ， 就 像 一 场 谈判 ， 即 使 我 们 
不 需要 与 别人 谈 ， 有 时 对 于 上 自己 也 会 有 内 心 的 一 番 挣 扎 ， 所 以 每 个 人 的 
生活 都 是 在 不 断 的 谈判 中 度 过 的 。 在 谈判 时 ， 每 个 人 的 本 能 反应 就 是 
电 ， 尽 最 大 努力 让 目 己 局 ， 且 无 论 是 在 时 间 、 空 间 、 物 质 或 是 精神 层 
面 ， 总 希望 目 己 能 够 获得 胜利 。 但 是 时 间 、 资 源 都 是 有 限 的 ， 只 有 在 一 
定 的 时 间 内 利用 有 限 的 资源 达到 目 己 的 目标 ， 才 能 称 为 有 效 的 谈判 。 因 
此 在 每 次 谈判 中 ， 我 们 往往 都 需要 做 好 先前 阶段 的 准备 工作 ， 对 小 数据 
进行 积累 ， 碍 阅 相 关 信 息 ， 和 掌握 可 靠 翔 实 的 资料 ， 对 对 方 的 情况 做 一 定 
的 调查 。 有 时 我 们 又 会 因为 时 间 紧 迫 来 不 及 进行 周密 调查 ， 而 会 尽 可 能 
收集 有 关 谈 判 核 心 的 材料 ， 在 关键 问题 上 不 轻易 放弃 。 在 一 次 又 一 次 的 
人 生 谈 判 中 ， 我 们 人 生 中 的 小 数据 也 正 被 悄悄 地 积累 起 来 。 


那么 在 小 数据 被 一 点 一 点 收集 之 后 ， 我 们 如 何 发 挥 这 些 数 据 的 作用 
呢 ? 


























(二 ) 经 验 并 非 越 多 越 好 





我 们 通 闸 认为， 经 验 应 该 古越 多 越 好 ， 一 个 有 经 验 的 人 忌 是 能 够 在 
很 多 事情 上 做 出 正确 的 判断 ， 因 为 经 验 使 然 。 但 事实 上 ， 我 们 发 现 ， 有 
时 候 经 验 越 多 ， 似 乎 越 容易 让 人 犯 一 些 低 级 错误 。 


比如 ， 在 股票 市 场 中 ， 经 验 并 不 能 实现 所 有 预想 的 好 处 。 有 时 候 ， 
丰富 经 验 所 带 来 的 好 处 却 被 一 些 经 济 劣 势 或 伤害 抵消 了 ， 而 且 这 些 经 验 
反而 进一步 限制 了 我 们 去 解决 这 个 问题 ， 甚 至 出 现 一 些 比 新 手 还 低级 的 
错误 。 

什么 经 验 有 时 会 使 人 犯 低 级 错误 呢 ? 在 这 里 ， 我 们 应 该 将 其 分 为 两 
种 情况 来 看 : 一 种 是 信息 不 对 称 ， 另 一 种 则 是 逻辑 错误 。 

当 我 们 讨论 信息 的 不 对 称 时 ， 首 先 要 讲 的 加 是 经 验 。 上 述 21 点 游戏 
就 是 一 个 典型 的 信息 不 对 称 的 例子 ， 我 们 的 经 验 永 远 比 不 过 庄家 对 底牌 
的 了 解 。 经 验 是 对 过 去 的 度量 ， 但 不 是 所 有 经 验 信息 的 质量 都 很 好 。 在 
经 验 的 数据 库 里 ， 肯 定 有 一 些 信息 是 正确 的 ， 有 一 些 是 错误 的 。 当 经 验 
中 混 有 很 多 噪声 干扰 时 ， 我 们 会 跟着 错误 的 经 验 做 出 判断 。 

逻辑 错误 更 加 致命 ， 将 一 种 看 似 正 确 但 经 过 检验 可 证 明 其 为 错误 的 
经 验 用 于 并 不 适宜 的 案例 上 ， 将 会 直接 影响 数据 预测 结果 的 正确 性 。 


比如 ， 当 你 在 亚马逊 上 浏览 和 购物 时 ， 就 会 有 很 多 书 或 者 其 他 的 商 
品 推荐 呈现 在 你 面前 。 亚 马 逊 没有 该 心术 ， 但 是 它 会 利用 你 浏览 和 购买 
物品 的 倾 问 来 搜索 在 它 的 资料 中 其 他 有 类 似 喜 好 的 买 家 。 如 有 果 它 定位 到 
了 一 个 人 ， 筷 就 会 把 那个 买 家 买 过 的 其 他 产品 推荐 给 你 ， 因 为 它 假定 你 
们 买 的 共同 的 产品 能 反映 出 你 们 有 共同 的 喜好 。 问 题 在 于 ， 这 种 信息 推 
上 肠 是 以 概率 为 基础 的 。 它 错误 地 把 个 人 和 特定 的 喜好 联结 起 来 。 当 这 种 
基于 个 人 资料 匹配 的 推断 用 于 实践 时 ， 比 如 ， 当 你 买 这 个 产品 仅仅 是 为 
别人 代 买 时 ， 这 种 错误 的 逻辑 推 央 所 导致 的 结果 就 是 一 个 扩大 的 数字 版 
过 大 






































因此 ， 无 论 我 们 多 么 相信 上 自己 对 数据 预测 结果 的 准确 性 ， 仍 需 在 每 
次 实践 后 对 数据 及 其 可 靠 性 进行 重新 验证 。 





(三 ) 数据 预测 本 质 上 是 一 种 蝴蝶 效应 


现代 数据 之 繁杂 ， 任 何 一 次 数据 估算 都 不 可 能 完全 看 透 、 说 清 。 
一 个 数据 被 很 多 人 运用 后 ， 很 多 情况 下 得 出 的 结论 也 都 是 各 执 己见 ， 
点 也 千差万别 相去 甚 远 。 即 便 是 同一 个 人 使 用 同一 次 数据 进行 预测 ， 
时 候 得 出 的 结果 和 做 出 的 分 析 都 能 自 相 矛盾 ， 这 几乎 成 了 一 个 普遍 现 
象 。 某 种 意义 上 说 ， 现 代 的 数据 估算 ， 地 球 上 还 没有 一 个 人 能 完全 弄 
懂 ! 

2010 年 ， 英 国 气象 局 (UK Meteorological Office) 科学 家 表示 ， 过 
去 10 年 气温 变化 的 速度 ， 较 20 世 纪 80 年 代 与 90 年 代 有 所 放 缓 。 气 象 局 气 
候 科 学 主任 维 姬 : 薄 柏 (Vicky Pope) 坦言 :“ 变 暖 趋势 仍然 存在 ， 但 速 
度 较 以 前 有 了 放 缓 。” 最 可 能 的 答案 是 自然 变化 一 一 气候 的 随机 波动 ， 
除 此 之 外 ， 太 阳 活 动 的 周期 性 减弱 、 正 迅速 工业 化 的 亚洲 国家 排放 的 其 
浮 颗 粒 污 染 物 的 人 为 制冷 效果 ， 也 许 起 到 了 一 定 的 作用 。 另 外 ， 浦 相 表 
示 ,;, “我 们 也 许 低估 了 真正 的 变 暧 速度 。” 新 分 析 显 示 ， 日 趋 利用 浮标 测 
量 的 海平 面 温 度 ， 需 要 同上 修正 。 瑞 国 气象 局 表示 ， 在 做 出 这 种 修正 
后 ， 全 球 气 温 在 过 去 10 年 上 升 了 0.08~0.16'C， 长 期 变 暧 趋势 是 每 10 年 
0.16'C。 


据 《 参 考 消 息 》 报 道 ， 英 国 气象 局 说 ， 自 20 世 纪 70 年 代 以 来 ， 全 球 
气温 上 升 了 0.16'C， 但 在 过 去 10 年 里 ， 气 温 只 上 升 了 0.05'C。 


根据 哈 德 雷 气候 预测 研究 中 心 公布 的 数据 显示 ， 自 20 世 纪 70 年 代 末 
期 开始 ， 地 球 表面 温度 每 隔 10 年 上 升 0.16'C; 在 2000 年 至 2009 年 之 间 ， 
上 述 增幅 降 至 0.05~0.13'C， 但 同期 的 CO2 排 放量 却 有 所 增加 。 目 前 科学 
家 对 于 上 述 变 化 的 起 因 还 并 不 明确 ， 但 其 表示 大 自然 的 变异 性 可 能 是 气 
候 变 化 的 因素 之 一 。 与 此 同时 ， 科 学 家 表示 平流 层 的 水 燕 气 在 过 去 10 年 
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中 有 所 减少 也 可 能 是 导致 全 球 变 暖 “减速 ”的 诱因 ， 而 专家 表示 另 一 可 能 
原因 在 于 来 自 亚洲 地 区 的 悬浮 微粒 排放 量 有 所 增加 ， 空 气 中 的 悬浮 微粒 
能 够 折射 太阳 光 并 对 地 球 产生 一 定 的 冷却 作用 。 德 雷 气候 预测 研究 中 心 
的 科学 家 还 表示 尽管 目前 全 球 气候 变 暖 的 速率 稍微 有 所 放 缓 ， 但 地 球 变 
暖 仍 将 是 全 球 气 候 变 化 的 大 势 所 趋 。 

2009 年 ， 国 际 上 有 两 条 比较 公认 的 全 球 温度 序列 : 一 条 是 英国 
Hadley 中 心 从 1850 年 以 来 的 观测 温度 序列 ， 另 一 条 如 是 曼 等 人 的 “ 湿 面 
条 ”温度 序列 。 钱 维 宏 研究 组 用 观测 序列 做 了 分 析 ， 通 过 模型 截取 不 同 
年 代 的 数据 ， 他 们 得 出 结论 : 1850~2008 年 的 温度 长 期 趋势 是 每 百年 增 
温 0.44'C，1910~2008 年 每 百年 增 温 0.74"C，1976~2008 年 每 百年 增 温 
1.70'C， 但 1998~2008 年 每 百年 降温 0.10'C。 


对 比 可 知 ，“1976~2008 年 每 百年 增 暧 1.70'C” 和 “ 自 20 世 纪 70 年 代 末 
期 开始 地 球 表面 温度 每 隔 10 年 上 升 0.16'C” 大 臻 相同。 但 是 ， 近 10 年 的 变 
暖 的 速度 却 有 四 种 不 同 的 数据 : 1998~2008 年 每 百年 降温 0.10'C; 过 去 
10 年 里 气温 只 上 升 了 0.05C;， 在 2000 年 至 2009 年 之 间 ， 上 述 增幅 降 至 
0.05~0.13'C， 在 作出 人 工 修正 后 ， 全 球 气 温 在 过 去 10 年 上 升 了 
0.08~0.16'C。 


四 种 数据 差距 太 大 ， 其 真实 性 和 可 靠 性 令 人 生 疑 。 当 然 ， 这 四 种 数 
据 都 表明 一 个 明显 的 趋势 一 一 全 球 变 暖 。 但 遗憾 的 是 ， 上 述 络 论 被 实测 
数据 一 一 否定， 全 球 变 暖 权威 的 可 信和 度 勾 变 得 败 炭 可 危 。 

所 以 预测 模型 的 计算 结果 可 靠 吗 ? 西方 科学 家 已 经 多 次 修改 了 他 们 
的 预测 模型 ， 至 今 仍 未 得 到 实践 的 证 明 ， 相 反 ， 实 际 数据 一 次 又 一 次 地 
否定 了 他 们 的 预测 结果 。 


不 过 正 因为 现代 数据 的 复杂 性 ， 加 之 各 种 能 动因 素 的 左右 ， 甚 至 共 
个 消息 的 传播 、 茶 个 情绪 的 受 延 ， 痢 能 导致 相 反 的 结 采 ! 蝴蝶 效应 大 家 
都 听 次 过 ， 落 在 漳 面 的 一 片 叶 ， 人 花边 晨 颤 的 一 只 蝶 ， 都 有 可 能 带 来 太平 
洋 上 剧烈 的 风暴 ， 这 就 是 真相 ! 所 以 ， 从 菏 种 意义 上 次 ， 人 类 任何 一 个 
数据 预测 活动 都 有 可 能 出 现 意 想 不 到 的 结果 ! 而 我 们 要 做 的 只 能 是 宏观 
































上 的 理解 、 大 趋势 上 的 分 析 。 


(四 ) 人 人 都 可 以 成 为 一 名 出 色 的 “数据 科学 家 * 


小 数据 无 须 复杂 的 算法 、 昂 贯 的 硬件 设备 、 高 额 的 分 析 费 用 ， 任 何 
组 织 、 企 业 、 个 人 都 可 以 实现 小 数据 的 分 析 和 管理 。 如 果 能 够 学 会 利用 
小 数据 的 潜在 价值 ， 那 么 可 以 萤 不 夸张 地 说 : 人 人 都 可 以 成 为 一 名 出 色 
的 “数据 科学 家 ”。 


对 于 企业 而 言 ， 利 用 小 数据 ， 我 们 可 以 综合 预 判 企业 所 在 行业 发 展 
的 整体 情况 。 然 后 分 析 企业 目 身 的 数据 信息 ， 可 以 发 现 目 己 的 不 足 之 处 
和 明显 优势 。 将 行业 的 整体 数据 和 企业 自身 数据 进行 对 比 ， 就 可 以 帮助 
企业 更 加 明确 目 喘 在 行业 中 的 欠缺 ， 并 及 时 去 弥补 ， 更 重要 的 是 可 以 帮 
助 企 业 获得 有 价值 的 数据 参考 ， 并 制定 符合 自 喘 发 展 的 商业 决 集 。 

例如 ， 一 家 工业 涂料 制造 商 将 重点 放 在 深入 研究 单个 用 户 和 区 域 的 
关 异 性 上 ， 以 给 产品 定价 ， 因 此 该 制造 商 放 痉 了 原 有 的 经 典 线性 回归 的 
分 析 方 法 ， 建 立 了 稳定 的 价格 弹性 模型 。 通 过 利用 其 他 的 简单 分 析 拉 
术 ， 该 公司 能 够 更 加 确定 具体 的 领域 来 进行 产品 销售 ， 从 而 制定 了 合理 
的 定价 和 服务 策略 。 该 企业 将 目光 转 癌 了 基于 用 户 价 值 大 小 来 定价 的 方 
法 ， 在 很 大 程度 上 保证 了 最 有 价值 的 用 户 能 够 孚 受到 最 高 级 别 的 服务 。 
这 种 基于 单个 用 户 进行 数据 分 析 的 方法 ， 使 该 涂料 制造 商 仅仅 在 一 个 地 
区 的 一 个 业务 单元 实施 过 程 中 ， 其 销售 额 束 较 之 前 上 升 了 49%6。 

该 工业 涂料 制造 商 正 是 走 的 小 数据 分 析 的 这 路 ， 通 过 深入 分 析 单 个 
用 户 的 数据 信息 ， 获 得 单个 用 户 的 价值 信息 ， 通 过 价值 的 大 小 来 为 用 户 
提供 不 同 级 别 的 服务 决策 。 因 此 ， 企 业 能 够 更 加 轻松 地 留 住 用 户 ， 让 用 
户 为 企业 创造 更 加 巨大 的 价值 回报 。 企 业 的 这 些 客 观 收益 ， 也 正 是 基于 
小 数据 制定 两 业 决 集 所 带 来 的 结果 。 
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